Moores Liebe zur Musik begann, als er im Alter von 14 Jahren Nachbar des legendären Fiddle-Spielers G.B. Grayson wurde. Der nahm ihn mit zum Whitetop Mountain Folk Festival. Dort trat Eleanor Roosevelt auf, sang "Three Little Babies" und beindruckte Moore so stark, dass er sich entschied, auch Musiker werden zu wollen.
Ende der 30er Jahre begann Moore, der übrigens 10 Geschwister hatte, gemeinsam mit seinem Bruder Joe unter dem Namen Moore Brothers aufzutreten. Das Duo stand mehrmals mit der legendären Carter Family auf der Bühne.
1959 entdeckten Alan Lomax und die Folk-Sängerin Shirley Collins die Musik von Spencer Moore und nahmen mehrere Lieder, darunter "Jimmy Sutton" und "The Girl I Left Behind", auf.
Den Großteil seines Lebens verbracht Spencer Moore in den Blue Ridge Mountains und spielte eine Gitarre, die mehr als 50 Jahre alt war.
Seine einzige Solo-Aufnahme erschien 2007, als Josh Rosenthal von Tompkins Square ein ganzes Album nur mit Stücken von Moore aufnahm.
Bis kurz vor seinem Tode trat Moore noch in Clubs auf und spielte Lieder aus seinem umfangreichen Repertoire…er konnte mehr als 600 Lieder auswendig spielen.