Obwohl er seinen Namen mit einem anderen Sänger teilen musste, dem legendären Pop-Sänger Johnny Mathis, hat der Country-Sänger selbst eine beindruckende Karriere hingelegt. 1949 unterschrieb er seinen ersten Plattenvertrag bei StarTalent. Es folgten später auch Verträge bei Chess, Columbia Nashville und Mercury Nashville.
Als die eine Hälfte des Duos Jimmy & Johnny hatte er 1953 einen Top 10 Hit mit "If You Don't Somebody Else Will". Gut ein Jahrzehnt später konnte er seinen größten Solo-Erfolg feiern: Die Single "Please Talk to My Heart" erreichte die Top 15 der Single Charts.
Songs, die aus der Feder von "Country" Johnny Mathis stammten, wurden unter anderem von George Jones, Charley Pride, Johnny Paycheck, Tammy Wynette und Elvis Costello aufgenommen.
Nachdem er 1999 einen Schlaganfall hatte, war es um seine Gesundheit nicht mehr gut bestellt. Mathis hinterlässt vier Kinder und seine Ehefrau, Jeannie Mathis, mit der er seit 43 Jahren verheiratet war.
