Sullivan var son till irländska invandrare, Michael Sullivan från Abbeydorney, County Kerry och Catherine Kelly från Athlone, County Westmeath. Han fick smeknamnet The Boston Strongboy. I ungdomsåren greps han flera gånger för att ha deltagit i matcher där sporten var förbjuden. Han gjorde turnéer där han erbjöd folk pengar för att boxas mot honom och ska ha vunnit mer än 450 matcher under sin karriär.
På Sullivans tid fanns inga formella boxningstitlar. Han blev mästare efter att ha besegrat Paddy Ryan i Mississippi, nära Gulfport, Mississippi den 7 februari 1882. Moderna myndigheter har retroaktivt avgivit Ryan som "Heavyweight Champion of America", men alla anspråk på att Ryan var en "världsmästare" är missvisande, då han hade aldrig tävlade internationellt som Sullivan gjort.
När dagens myndigheter beskriver "tungviktsmästerskapet i världen", hänvisar de sannolikt till mästerskapsbältet som tilldelades Sullivan i Boston den 8 augusti 1887. Bältet hade inskriptionen Presented to the Champion of Champions, John L. Sullivan, av USA:s medborgare. Dess mitt dekoreras av USA:s, Irlands och Storbritanniens flaggor.
Sullivan anses vara den siste "knythandsmästaren" eftersom ingen mästare efter honom boxades med bara knutna händer. Sullivan hade dock boxats med handskar under markis av Queensberry-reglerna så tidigt som 1880 och boxades med nakna knogar bara tre gånger i hela sin karriär (Ryan 1882, Mitchell 1888 och Kilrain 1889). Han installerades i International Boxing Hall of Fame 1990, som medlem av hallens ursprungliga klass.
