Berger deltog även vid två olympiska spel. Vid Olympiska sommarspelen 1932 blev han utslagen i kvartsfinalen både på 100 och 200 meter. Fyra år senare vid Olympiska sommarspelen 1936 blev han åter utslagen i kvartsfinalen på 100 meter. Han ingick även i stafettlaget över 4 x 100 meter som tog sig till final där laget blev diskat och slutade sist.
Hans personliga rekord på 100 meter 10,3 var även tangerat världsrekord.