Krayzelburgs första meriter kom när han som collegesimmare för Santa Monica College vann juniormästerskap i ryggsim. 1995 blev han amerikansk medborgare och 1998 dominerade han ryggsimmet vid VM i Perth där han vann både 100 meter och 200 meter. Samma år slog han även världsrekordet på både 100 och 200 meter ryggsim på såväl lång som kort bana.
Krayzelburg var storfavorit inför OS 2000 i Sydney där han även levde upp till alla förväntningar och vann guld på både 100 meter och 200 meter ryggsim. Dessutom simmade han startsträckan i det amerikanska lagkappen på 4 x 100 meter medley som vann guld.
Under 2001 valde han att avstå VM i japanska Fukuoka för att i stället ställa upp i den judiska motsvarigheten till samväldesspelen - Maccabiah spelen i Israel. Där vann han guld på 100 meter ryggsim.
Efter några år som var fyllda av skador var Krayzelburg tillbaka till OS 2004 i Aten där han valde att avstå från 200 meter ryggsim för att bara koncentrera sig på 100 meter. Emellertid blev finalen en besvikelse och Krayzelburg var två hundradelar från en medaljplats och han slutade på en fjärde plats. Däremot blev det guld i lagkappen 4 x 100 meter medley där han simmade i kvalet, men i finalen blev han utbytt mot Aaron Peirsol.