Han var den första finländska spelaren som gjorde internationell karriär när Rytkönen representerade Toulouse FC från 1952 till 1960. I Frankrike kallades Rytkönen Monsieur Magic. Han spelade också i Finlands fotbollslandslag under den olympiska fotbollsturneringen 1952 i Finland.[1] Rytkönen var förbundskapten för Finlands herrlandslag åren 1975–1978.