Gaspard Lemay naît le 22 août 1738 à Chantonnay, dans le Bas-Poitou (actuel département de la Vendée). Le 12 avril 1745, alors qu'il n'a que six ans, il est reçu comme enfant de chœur à la cathédrale de Luçon, où il reçoit sa première formation musicale auprès du maître de musique André-Bonaventure Vouillemin. Les sources signalent qu'il possédait « une bonne voix ». C'est dans cette maîtrise d'Église, institution centrale de l'enseignement musical sous l'Ancien Régime, qu'il acquiert les bases du chant, de la composition et de la pratique instrumentale.
Devenu musicien professionnel, Lemay s'établit en Bretagne. Le 28 juillet 1761, il épouse à Saint-Malo Thérèse-Françoise Surois, union dont naîtront trois enfants ; la même année, il est musicien à la cathédrale de Saint-Malo. À partir de 1777, il entre au service de la cathédrale de Rennes, d'abord comme musicien puis comme maître de musique, charge qu'il occupera jusqu'en 1790. Sa rémunération, documentée par les archives, témoigne du statut de la fonction : il perçoit 2 500 livres par an entre 1778 et 1784, avec la responsabilité d'entretenir six enfants de chœur ; un contrat ultérieur (1784-1787) ramène son traitement à 800 livres annuelles, complétées par des droits journaliers. En 1790, à la veille de la Révolution, ses revenus cumulés s'élèvent à 1 063 livres 15 sols.
En 1782, Lemay publie un ouvrage didactique, Principes de la musique, par demandes et réponses, méthode pédagogique conçue selon le procédé du catéchisme musical alors en usage, destinée à l'apprentissage des rudiments de la théorie musicale. Cet écrit s'inscrit dans une longue tradition de manuels « par demandes et réponses » qui visaient à rendre l'enseignement de la musique accessible.
La Révolution française infléchit profondément sa carrière. En 1791-1792, Lemay devient maître de musique de la cathédrale constitutionnelle de Rennes. Il met sa plume au service des nouvelles institutions : en avril 1791, il compose une Messe en l'honneur des mânes de Mirabeau, commandée par la Garde nationale et la Société des Amis de la Constitution, à la suite de la mort de l'orateur révolutionnaire. Le 21 octobre 1792, il est associé à l'exécution d'un Hymne des Marseillais. En 1794, il est chargé d'écrire la musique d'un Hymne à l'Être suprême pour la fête organisée le 20 prairial an II (8 juin 1794), célébration emblématique du culte révolutionnaire institué par Robespierre.
Engagé politiquement, Lemay siège dans des comités de surveillance en 1793, devient membre de la municipalité et prête les serments exigés par les constitutions successives. À partir de 1794, il exerce comme instituteur de musique. Au printemps 1795, dans le contexte de la réaction thermidorienne, il est arrêté, puis relâché en octobre de la même année. Privé de ses fonctions ecclésiastiques, il se consacre dès lors à l'enseignement pour gagner sa vie, donnant des leçons de musique vocale, de violon et de basse, et figure dans les annuaires de professeurs de musique à partir de 1797.
Gaspard Lemay meurt à Rennes le 1er nivôse an IX (22 décembre 1800), âgé d'environ soixante-cinq ans. Son fils, Gaspard-Thomas Lemay, perpétua la vocation familiale en devenant professeur de musique à Pondichéry, alors comptoir français en Inde. Figure représentative des maîtres de musique d'Église confrontés aux bouleversements révolutionnaires, Lemay illustre le passage d'une carrière liturgique sous l'Ancien Régime à la mise au service de la musique civique et patriotique de la Révolution.