Karlssons tränarkarriär inleddes som assisterande tränare till Bob Houghton i Örgryte IS. När Houghton hastigt lämnade klubben i januari 1989 tog Karlsson över som huvudtränare,[1] vilket han var i två säsonger.
Efter att han återvänt till Sverige lyckades Karlsson ta även Kalmar FF (2001) och Trelleborgs FF (2006) till Allsvenskan.
I november 2009 presenterades Karlsson som Helsingborgs IF:s nya tränare men bara tre veckor senare framkom att han saknade formell utbildning och därför under 2010–2011 blev tvungen att gå steg 1–3 inom tränarnas officiella utbildning. Efter en andraplats i Allsvenskan 2010 ledde han säsongen 2011 laget till seger i alla svenska fotbollsmästerskap: Svenska Supercupen, Allsvenskan och Svenska Cupen. Helsingborgs IF var den första svenska klubben som lyckades vinna alla tre titlarna under samma säsong. Conny Karlsson är också en av få personer som vunnit SM-guld både som tränare och spelare.
Hans sista uppdrag som fotbollstränare blev när han 2017 var huvudtränare för Stattena IF:s damlag i division 1.[2]