Williams föddes i nordöstra London, där han också först växte upp. Senare växte han upp i Hoylake nära Liverpool. Han kom in i bandet AC/DC efter att deras förre basist Mark Evans fått sparken 1977. Williams hade spelat bas i tolv år innan han blev medlem i AC/DC. Evans sjöng inte heller under refrängerna, utan det var trummisen Phil Rudd som gjorde det.