Joe South wurde als Joseph Alfred Souter am 28. Februar 1940, in Atlanta, Georgia, geboren.
Seine größten Erfolge feierte South Ende der 60er und Anfang der 70er. Seinen Durchbruch als Sänger hatte er 1968 mit dem Song "Games People Play". Der Song erreichte 1968 in den USA die Top 10 und wurde mit zwei Grammys, in den Kategorien "Best Contemporary Song" und "Song of the Year", ausgezeichnet. In Deutschland schaffte der Song es bis auf Platz 11 der Media Control Single Charts.
Sein größter kommerzieller Erfolg hatte South aber 1971 mit einem Country-Song. Aus seiner Feder stammt der Song "(I Never Promised You A) Rose Garden", den er für Lynn Anderson schrieb. Anderson gewann einen Grammy für den Gesang, South in seiner Funktion als Songschreiber. Das Lied hielt sich fünf Wochen an der Spitze der Billboard Hot Country Song Charts.
Sein Song "Hush" wurde von Billy Joe Royal aufgenommen und später von Deep Purple neu eingespielt. Es wurde der erste Top 10 Song der britischen Rock-Band.
South fungierte außerdem als Sideman für Aretha Franklin, Marty Robbins, Eddy Arnold, Solomon Burke und Bob Dylan. Für Simon & Garfunkel spielte er E-Gitarre im Song "The Sounds of Silence".
1979 wurde er in die Nashville Songwriters Hall of Fame aufgenommen und wurde 1981 Mithlied in der Georgia Music Hall of Fame.