John Paul Gimble wurde am 30. Mai 1926 in Texas geboren und wuchs in Bascom, Texas, auf. Im Alter von 12 Jahren gründete er mit seinen Brüdern die Rose City Swingsters und zog in den US-Bundesstaat Louisiana, um mit Jimmie Davis zu musizieren.
Ende der 40er schloss er sich den Texas Playboys von Bob Wills an, bei denen er den Weg für die Fünf-Saiten-Fiddle bereitete. Zunächst spielte er nur wenige Monate bei den Texas Playboys, da er seine eigene Band gründete, aber 1953 kehrte er zurück und blieb der Band bis in die 60er Jahre treu. Während dieser Zeit spielte er auch Fiddle auf der Aufnahme zu Marty Robbins' Nummer 1 Hit "I'll Go on Alone".
Nach dem er eine Pause eingelegt hatte, kehrte er 1969 zu Bob Wills zurück, um an diversen Plattenaufnahme mitzuwirken. Während dieser Zeit war er auch auf den Platten von Merle Haggard und Chet Atkins und tourte mit Willie Nelson. Gleichzeitig veröffentlichte er ein paar Solo-Alben.
1982 hatte er mit Ray Price seinen größten Hit: "One Fiddle, Two Fiddle". Der Song schaffte es auch auf den Soundtrack zu dem Clint Eastwood-Film "Honkytonk Man", in dem Johnny Gimble auch einen kleinen Gastauftritt erhielt. 1983 erhielt er eine Grammy®-Nominierung für seine Arbeit auf dem Mark O'Connor Album "Heroes".
1999 soll Johnny Gimble, nach unbestätigten Meldungen, einen Schlaganfall erlitten haben, von dem er sich aber erholte und bis wenige Jahre vor seinem Tod noch aktiv Musik spielte. 2010 veröffentlichte er sein letztes Album "Celebrating with Friends" auf dem untere anderem Merle Haggard, Vince Gill, Dale Watson und Ray Benson mitsangen.
