Johnson efterträdde 1891 Henry C. Hansbrough som kongressledamot. Han efterträddes 1899 av Burleigh F. Spalding. Johnson efterträdde sedan 1909 Hansbrough i USA:s senat. Han avled senare samma år i ämbetet och efterträddes av Fountain L. Thompson. Johnson var i senaten ordförande i utstkottet som undersökte dem som inkräktade på indianernas marker (Committee to Investigate Trespassers Upon Indian Lands). Hans grav finns på Petersburg City Cemetery i Petersburg, North Dakota.