Jimmy Gilmer est né à Chicago en 1940. Cependant, il passe toute sa jeunesse au Texas. C'est là qu'il fait ses études et par la suite il fonde un groupe et il se produit un peu partout dans les salles de danse. Un jour il décide d'enregistrer un disque avec son groupe, il va aux studios Clovis à New Mexico, c'est là que Buddy Holly enregistra ses disques.
Jimmy fait la connaissance du groupe les Fireballs qui lui demandent de devenir le chanteur du groupe. Par la suite il enregistre quelques 45 tours avec les Fireballs, mais le succès n'arrive qu'en 1963, avec la chanson "Sugar Shack".