Frejs moderklubb är FC Djursholm. Efter spel med Enskede IK i division 1 norra 2017, IFK Stocksund i division 2 norra Svealand 2018–2019 och IF Sylvia i Ettan norra 2020 kom han 2021 till IF Brommapojkarna, som då låg i Ettan norra. Han var med om att spela upp klubben till Superettan 2022, och därefter till Allsvenskan 2023.[1]
Efter säsongen 2022 släppte Brommapojkarna Frej, och den 14 februari 2023 meddelades att han hade skrivit på för Göteborgsklubben Gais.[2] Även med Gais var han med om en uppflyttning, då klubben slutade tvåa i Superettan 2023 och därmed gick upp i Allsvenskan 2024. Under säsongen roterade Gais tränare Fredrik Holmberg något okonventionellt mellan sina fyra mittbackar – förutom Frej även Axel Norén, Anes Cardaklija och Filip Beckman – där de två som var i bäst form eller fungerade bäst ihop för tillfället bildade mittbackspar.[3] Frej, som under säsongen även spelade ytterback, spelade 2023 sammanlagt 27 Superettanmatcher och gjorde 2 mål.[1]
Frej gjorde allsvensk debut borta mot IFK Värnamo i april 2024, i en match som Gais vann med 2–1.[1] Under våren var han en viktig del av Gais mittförsvar,[4] men i en bortamatch mot IK Sirius i juli 2024 råkade han ut för en rejäl hjärnskakning[5] och var därefter borta från spel i över två månader. Efter två kortare inhopp i mitten av september fick han ett bakslag på skadan,[6] och var därefter utanför truppen under resten av säsongen. I oktober 2024 skrev han på ett nytt tvåårskontrakt med Gais, till och med säsongen 2026.[6][4]