Alphonse Leduc naît le 9 mars 1804 à Nantes, dans une famille profondément musicienne dont les origines remontent à Arnay-le-Duc, en Bourgogne — c'est de ce lieu d'origine que la branche nantaise de la famille Girard tira le nom « Leduc ». Petit-fils d'un violoniste et fils d'un bassoniste réputé, il reçoit de son père ses premières leçons de solfège, de basson et d'harmonie.
Il poursuit sa formation au Conservatoire de Paris, où il obtient un second prix de basson en 1825 et étudie l'harmonie auprès d'Antoine Reicha, l'un des maîtres les plus influents de la génération romantique. De retour à Nantes à la fin de l'année 1826, il travaille le piano avec Charles-Laurent Rhein. Musicien aux talents multiples, Leduc devient un véritable virtuose de la guitare et de la flûte, en plus de sa maîtrise du basson.
Sa production de compositeur est considérable : les sources lui attribuent près de 1 300 ouvrages. Il s'agit pour l'essentiel de musique de salon destinée au piano — valses, polkas, polkas-mazurkas, quadrilles, romances et fantaisies — ainsi que de nombreuses pièces pédagogiques, dont neuf livres d'études et plusieurs méthodes. On trouve également dans son catalogue des pièces pour basson, guitare, flûte et orgue. Parmi les œuvres conservées et encore jouées aujourd'hui figurent la polka-mazurka Madrid, la valse La Melancolia et La Châtelaine, Fantaisie à la valse, op. 139, témoins représentatifs de ce répertoire de salon brillant et accessible qui faisait alors le succès des éditeurs parisiens.
En 1841, Alphonse Leduc fonde à Paris sa maison de commerce de musique, les Éditions Alphonse Leduc, qu'il alimente d'abord d'un grand nombre de ses propres compositions. L'entreprise prospère rapidement. Reprise par son fils Alphonse-Charles Leduc, elle absorbera par la suite de nombreux autres fonds éditoriaux pour devenir l'une des principales maisons d'édition musicale françaises ; elle sera finalement rachetée par le Music Sales Group en janvier 2014. C'est cette aventure éditoriale, plus que son œuvre de compositeur, qui a assuré la pérennité du nom de Leduc dans l'histoire de la musique.
Alphonse Leduc meurt le 17 juin 1868 dans le 9e arrondissement de Paris, à l'âge de soixante-quatre ans.