Jones inledde karriären som mittback i Everton. Han gjorde debut i november 1975 och spelade 86 ligamatcher för klubben under fyra säsonger innan han såldes till Coventry City i juni 1979. I Coventry råkade han ut för en knäskada och spelade bara elva ligamatcher på två år. Han spelade sedan i Seiko i Hongkong innan han återvände till England för spel i Preston North End där han spelade 50 ligamatcher under två säsonger.
I juli 1990 tog han över som juniorlagstränare i Stockport County. I mars 1995 fick han jobb som A-lagstränare och förde upp laget i division ett 1997. Han blev sedan tränare i Southampton, men han blev avstängd i januari 2000 då han var anklagad för barnmisshandel i slutet av 1980-talet. Jones friades dock från anklagelserna och i januari 2001 anställdes han som tränare i Wolverhampton Wanderers. Med Jones som tränare gick laget upp i Premier League 2003. Laget lyckades dock inte hänga kvar i Premier League och efter en dålig start på säsongen 2004/05 fick Jones sparken i november 2004. Ett halvår senare blev han tränare i Cardiff City som han säsongen 2005/06 förde till en mittenplacering i The Championship.