Varzegi kom till Sverige efter det ungerska upproret 1956 mot Sovjetunionen. Han blev där en av Sveriges mest framgångsrika tränare i tre decennier. När han kom till Sverige hamnade han först i ett flyktingläger i Söderköping där han mötte två fotbollsspelare från IFK Norrköping, Einar Steen och Knut Nordahl. Varszegi tränade IFK Norrköping mellan 1957 och 1962 och tillsammans med en annan Norrköpingslegend Georg 'Åby' Ericson ledde han Norrköping till tre allsvenska guld.
Hans tränarkarriär fortsatte sedan via Örebro SK och Degerfors IF till småländska Östers IF dit han värvades 1967 av "Mr Öster" Stig Svensson. Vilmos var tillsammans med Harry Bild, en annan av Svenssons värvningar, anledningen till att Öster gick upp i Allsvenskan och direkt blev svenska mästare första året i högsta serien 1968. Efter fem år i Öster flyttade han till Göteborg och GAIS, som han tränade fram till 1976. Efter det återvände han till Växjö och Öster och avslutade sin karriär där då han mellan 1979 och 1985 var assisterande tränare och 1986 tränare för Östers damlag.
Växjö, Sverige