Stepanovs inledde sin karriär med Skonto Riga, med vilka han vann Virsliga nio raka gånger. Han debuterade i Lettlands landslag 1995. Till 2000 hade hans spel skapat intresse hos ett flertal europeiska klubbar. Efter provspel kontrakterades han av Arsenal i Premier League. Han agerade i första hand reserv bakom Tony Adams och Martin Keown, men fick spela då och då. Efter en 1–6-förlust mot Manchester United var Stepanovs dock allt mer sällan i spel för Arsenal. Han gjorde blott 17 ligamatcher på tre säsonger[2], och det fjärde och sista året på sitt kontrakt med Arsenal tillbringade han som utlånad till KSK Beveren i Belgien.[3]
Stepanovs avslutade sin landslagskarriär 2008, men återkom till landslaget för en vänskapsmatch mot Finland 2011 för att bli avtackad för sina insatser i landslaget. Matchen blev Stepanovs 100:e i landslagströjan.
Stepanovs har efter spelarkarriären varit tränare, bland annat för lettiska ungdomslandslag och 2019 för FK Auda. Han var senast tränare för Maldivernas U19-landslag.[4][5]