Grammer wurde als eines von 13 Kindern geboren. Er wuchs in Illinois auf einer Farm auf und diente dann in der US-Army. Nach seinem Ausscheiden aus der Army zog er nach Washington, DC, und traf dort den Konzertveranstalter Connie B. Gay, der ihm einen Job als Gitarrist bei Hawkshaw Hawkins, Grandpa Jones sowie bei Jimmy Deans lokaler Fernsehsendung verschaffte.
Nachdem er genug Erfahrung gesammelt hatte, gründete er eine Band und arbeitete an seiner Solo-Karriere. Er unterschrieb einen Plattenvertrag bei Monument Records und nahm seinen wohl bekanntesten Song "Gotta Travel On" auf. Das Lied stieg bis auf Platz 5 in den Billboard Country Charts und bis auf Platz 4 in den Pop Charts.
Später nahm er noch Schallplatten für Decca, Epic und Mercury Records auf. 1963 nahm er "I Wanna Go Home" auf. Der Song stammt aus der Feder von Mel Tillis und Danny Dill und wurde Ende 1963 unter dem Titel "Detroit City" ein Hit für Bobby Bare. Das letzte Mal erreichte er die Charts 1969 mit "Jesus is a Soul Man". Das Lied ist eine Cover-Version des Lawrence Reynolds Hit.
Nebenbei war Grammer immer noch als Studiomusiker tätig und spielte für Charley Pride, Louis Armstrong und andere.
1964 tat er sich mit dem Geschäftsmann Clyde Reid und Gitarrenbauer J.W. Gower zusammen und brachte die Grammer Gitarre auf den Markt, eine akustische Gitarre, die zum Beispiel von Johnny Cash und Merle Haggard gespielt wurde. Nach dem Tode von Johnny Cash wurde eine seiner Grammer Gitarren versteigert und brachte 131.000 US-Dollar ein.
1959 wurde Billy Grammer Mitglied in der Grand Ole Opry. Nach mehr als 20 Jahren auf der wohl bekanntesten Country-Bühne der Welt konnte er aus gesundheitlichen Gründen dort nicht mehr auftreten. Im Februar 2009 feierten Grammer und seine Ehefrau Ruth dort noch das 50jährige Jubiläum.