Geboren wurde Cowboy Jack Clement am 5. April 1931 als Jack Henderson Clement in einem Vorort von Memphis, Tennessee. Als er noch ein Teenager war, begann er Dobro zu spielen.
1948 trat er den Marines bei und verbrachte die letzten zwei Jahr seiner Militärzeit in Washington, D. C., wo der The Stonemans traf. 1953 tat er sich mit Scotty Stoneman und Buzz Busby zusammen und gründete Buzz and Jack & the Bayou Boys.
Bereits 1954 kehrte er nach Memphis, Tennessee zurück und begann dort als Produzent bei Sun Records zu arbeiten. Dort verhalf er Künstlern wie Roy Orbison, Jerry Lee Lewis, Carl Perkins, Johnny Cash und Charlie Rich zum Karrierestart. 1959 wurde er von Sun Records gefeuert und so nahm ihn Chet Atkins für RCA Victor kurzzeitig unter Vertrag.
1963 produzierte Clement "Ring of Fire mit Johnny Cash.
1978 hab Cowboy Jack Clement seinen Major Label Einstand als Sänger und veröffentlichte bei Elektra "All I Want to Do in Life". Das Album brachte drei Singles hervor: "We Must Believe in Magic," "When I Dream" und "All I Want to Do in Life", die alle nicht höher als Top 80 in die Charts einstiegen.
Im April 2013 wurde bekanntgegeben, dass Clement, gemeinsam mit Kenny Rogers und Bobby Bare, in die Country Music Hall of Fame aufgenommen werden soll. Die offizielle Zeremonie findet im Oktober dieses Jahres statt.
