Andrew Samuel Griffith wurde am 1. Juni 1926 in Mount Airy, North Carolina, geboren. Er begann als Stand-Up Comedian. Seinen ersten Erfolg hatte er 1953 in der live aufgezeichnete Geschichte "What it was, was Football" ("Was es war, war Football"). Die dazugehörige Single "What it was, was Football" kam im Januar 1955 erstmals in die US-Singles-Charts und stieg bis auf Platz 9.
1954 ging er an den Broadway und trat in dem Theaterstück "No Time for Sergeants" ("Keine Zeit für Unteroffiziere") auf, das von einem Landjungen in der Air Force handelt. 1959 wurde das Stück verfilmt und war außerdem die Vorlage für die spätere Fernsehserie "Gomer Pyle, U.S.M.C." (1964 - 1969).
1955 wurde er für seine Rolle in "No Time for Sergeants" für einen Tony nominiert. 1960 erhielt er eine zweite Nominierung für seine Rolle in "Destry Rides Again".
Bevor er fürs Fernsehen entdeckt wurde, holte ihn sich der Regisseur Elia Kazan vor die Kamera. Griffith spielte in Kazans "Ein Gesicht in der Menge" aus dem Jahr 1957 einen hinterhältigen, nach außen aber volkstümlichen TV-Prominenten.
Drei Jahre später bot ihm CBS eine eigene Sendung an: "The Andy Griffith Show", die zu einem Riesenerfolg wurde. (The Andy Griffith Show - Eine amerikanische Fernsehserie, die zum Kult wurde) 1985 konnte Griffith dann mit "Matlock" zum zweiten Mal einen echten Quoten-Hit landen.
1991 wurde er für seine Darstellung in "Murder in Texas" für einen Emmy nominiert.
2005 überreichte US-Präsident George W. Bush Griffith die Freiheitsmedaille, die höchste zivile Auszeichnung der Vereinigten Staaten.
2008 spielte er in dem Brad Paisley Video "Waitin' on a Woman" mit.
