Paul Frederic Simon naît en 1941 dans le New Jersey, Arthur Ira Garfunkel naît trois semaines plus tard à New York. Simon et Garfunkel se rencontrent en 1956 au Forest Hills High School à New York, où ils commencent à jouer tous les deux dans un groupe appelé Tom & Jerry. Ils commencent à écrire leurs propres chansons dès 1957, et ils enregistrent une de leurs premières chansons de rock and roll, Hey, Schoolgirl, dont les ventes estimées atteignent 100 000 à 150 000 exemplaires. Cependant, leurs tentatives suivantes en 1958 n'ont pas le succès de ce coup d'essai, et le duo se sépare. Ils se retrouvent en 1963 grâce à leur passion commune pour la musique folk, et enregistrent leur premier véritable album, Wednesday Morning, 3 A.M. en 1964 ; il connaît un succès mitigé. Peu de temps après l'enregistrement, le duo se sépare une nouvelle fois, et Simon part en Angleterre, où il enregistre un album solo, The Paul Simon Song Book, en 1965, dans lequel il réédite The Sound Of Silence, He Was My Brother, qu'il avait enregistré avec Garfunkel dans ce premier album, et compose des chansons, qui seront reprises plus tard par le duo, comme I Am A Rock, ou Leaves That Are Green. Paul et « Art » se revoient toujours, lorsque ce dernier vient à Londres. Ils en profitent pour jouer dans des bars, ou simplement tous les deux. Un de leurs amis leur fait connaître Scarborough Fair, chanson populaire anglaise du Moyen Âge, et Simon apprend Anji, un morceau de guitare composé par Davy Graham.