Holmes studerade juridik och inledde 1791 sin karriär som advokat i Virginia. Demokrat-republikanen Holmes efterträdde 1797 Andrew Moore som ledamot för Virginias andra distrikt i USA:s representanthus. Han representerade Virginias fjärde distrikt 1803–1809 och efterträddes som kongressledamot av federalistenJacob Swoope.
Holmes var guvernör i Mississippiterritoriet 1809–1817. Han var sedan den första guvernören i delstaten Mississippi. Han efterträddes 1820 som guvernör av George Poindexter. Senator Walter Leake avgick 1820 och efterträddes av Holmes.
Holmes vann guvernörsvalet i Mississippi 1825. Han tjänstgjorde sedan som guvernör från januari till juli 1826 innan han avgick av hälsoskäl.