Carl M. Smith wurde in East Tennessee geboren. Um genau zu sein in Maynardville. Am 15. März 1927 erblickte er das Licht der Welt.
1944 begann er seine Karriere bei Cas Walker's Radio-Programm bei WROL in Knoxville, Tennessee.
Smith stand jahrelang bei Columbia Records Nashville unter Vertrag. Seine erste Nummer 1 Single war "Let Old Mother Nature Have Her Way" (1951). weitere Hits wie "(When You Feel Like You're in Love) Don't Just Stand There" oder sein Smash-Hit mit den Louvin Brothers "Are You Teasing Me" folgten. "It's a Lovely, Lovely World", "Just Wait Till I Get You Alone" und "Hey Joe" reihten sich ein wenig später in die Liste seiner Erfolge ein.
1977 hörte er auf zu touren half aber jungen Talenten in Nashville beim Songschreiben. 2003 wurde er in die Country Music Hall of Fame aufgenommen.