Kelsey tillbringade större delen av sin karriär i Arsenal, efter att klubben värvat honom från den walesiska klubben Winch Wen 1949. Efter två år i reservlaget gjorde Kelsey debut på Highbury mot Charlton Athletic i februari 1951. Han hade ingen lyckad debut, då Arsenal föll med 5–2. Det blev ytterligare ett och ett halvt år i reservlaget, innan han kom tillbaka till A-laget under säsongen 1952/53. Han delade målvaktssyssland med George Swindin och spelade 25 ligamatcher när Arsenal blev engelska mästare.
Kelsey var Arsenals förstemålvakt under de kommande nio säsongerna. Han lyckades inte vinna någon titel med Arsenal, men han var med om att gå till final i den första upplagan av Mässcupen 1958. Kelsey representerade då ett kombinationslag från London och man förlorade mot FC Barcelona i finalen. Han var även förstemålvakt i walesiska landslaget och spelade 41 landskamper. Han var med i VM 1958, där Wales åkte ut mot Brasilien i kvartsfinalen.
Kelsey fick avsluta karriären efter att ha skadat ryggen i en landskamp mot Brasilien i maj 1962. Trots flera försök att få skadan läkt, var han tvungen att lägga skorna på hyllan ett år senare. Totalt spelade han 352 matcher för Arsenal. Av Arsenals målvakter har endast David Seaman spelat fler matcher för klubben.
Llansamlet, Swansea, Wales
London, England
