Arie Haan debuterade för Ajax säsongen 1969/70. Ajax vann ligan denna säsong och fick spela i Europacupen följande säsong. Haan fick dock inte spela något förrän i finalen mot Panathinaikos. Säsongen 1971/72 blev Haan ordinarie spelare i Ajax startelva, gjorde bland annat mål då Ajax vann UEFA Super Cup 1972 och 1973.
År 1975 gick Haan till belgiska Anderlecht där han var med om att vinna belgiska cupen och Cupvinnarcupen. I augusti 1976 vann laget UEFA Super Cup, där Haan gjorde två mål mot Bayern München. Efter ligaguld 1980/81 gick Haan över till Standard Liège, där han spelade i två säsonger innan han flyttade till Nederländerna för att avsluta karriären i PSV Eindhoven 1983/84. Han spelade även i Seiko SA.
Arie Haan var landslagsman för Nederländerna. Han spelade 35 landskamper och gjorde 6 mål. Debuten skedde i en match mot Tjeckoslovakien den 30 augusti 1972. Haan var med i VM 1974, och spelade samtliga sju matcher.
Haan var med även i VM 1978. I matcherna mot Västtyskland och Italien gjorde han två mål. Arie Haan spelade sina sista landskamper i samband med EM i Italien 1980.
Efter spelarkarriären har Haan varit förbundskapten för Kina. Han avskedades efter att laget misslyckats i kvalet till VM 2006. Från januari 2008 till 2009 var Haan förbundskapten för Albanien.