Drescher inledde sin proffskarriär i New York Yankeesfarmarklubbssystem 1942 och fick göra sin MLB-debut för Yankees den 19 april 1944. Han deltog dock bara i fyra matcher för Yankees den säsongen, men året efter var han med i 48 matcher. 1946 spelade han bara fem matcher för Yankees. Totalt spelade Drescher 57 matcher i MLB med ett slaggenomsnitt på 0,266, inga homeruns och 16 RBI:s (inslagna poäng).