Paul Simon生于1941年10月13日，Art Garfunkel生于1941年11月5日，他们一起在纽约的皇后区长大。 15岁时，他俩组建了Tom ＆ Jerry乐队，推出了一首热门歌曲《Hey Schoolgirl》并出现在美国野外音乐台的节目中。 
毕业之后，Paul Simon开始了他的录音。1962年他结识了Carole King，并同他合作写歌，但不太成功。后来他带着吉他来到格林尼治村成为了一名民歌手。
他最早的歌曲都是同Garfunkel合作由Columbia公司录制的，但并没有引起什么注意。直到1965年，随着Bob Dylan改用了电吉他，民歌摇滚一下子热了起来。当时Paul Simon正在英格兰的一些民歌俱乐部里唱歌，并正在制作Jackson C. Frank的唱片，而他自己的一张原声吉他专辑也在录制之中；而此时Art Garfunkel则在大学学习。制作人Tom Wilson把他们的那首《Sounds Of Silence》加上了摇滚背景，并于1966年初成为了榜首歌曲。 Simon马上回到了美国同Garfunkel会合，开始了巡回演出，开创了他俩随后6年的合作生涯。 
很明显，从最初开始Simon就抓住了大学青年的脉搏，这代青年们从高中时代就开始的焦虑心态随着学生运动的开展进一步加深了。在录音方面，Simon ＆ Garfunkel花费了一些时间才找到了把歌曲和演唱完美相配的器乐模式。最初的几张专辑都只是一些把民歌匆匆配上摇滚声响的作品。
1966年晚些时候他们推出了另一张专辑《Parsley