Jean-Baptiste Carpeaux est né dans une famille modeste de Valenciennes. Son père exerce la profession de maçon. En 1844, il entre à l'École des beaux-arts de Paris. Dix ans plus tard, en 1854, il remporte le prix de Rome : il s'installe à la villa Médicis et étudie les grands maîtres: Raphaël, Michel-Ange. Élève de François Rude, il voyage en Italie pour trouver l'inspiration. Il y puise son goût pour le mouvement et la spontanéité, renouant avec les grands principes de l'art baroque. En 1862, rentré à Paris, il est introduit à la cour par son ami et mécène, le marquis de Piennes, bientôt chambellan de l'Impératrice. Il sculpte la même année un buste de la princesse Mathilde, ce qui lui permet d'obtenir plusieurs commandes de la part de Napoléon III. Il travaille pour le pavillon de Flore et l'opéra Garnier.

Il collabore avec l'architecte Gabriel Davioud pour sa dernière œuvre, la célèbre Fontaine des Quatre Parties du Monde de la place Camille Jullian. Il réalise le globe terrestre, soutenu par les quatre figures de l'Asie, l'Europe, l'Amérique et l'Afrique. Il ne peut la terminer et c'est Emmanuel Frémiet qui l'achève en ajoutant les huit chevaux bondissants, les tortues et les dauphins du bassin.

Il épousa la fille du vicomte Philogène de Montfort, conseiller général de la Marne.

Jean-Baptiste Carpeaux restera très attaché à sa ville natale, Valenciennes, et lèguera une partie de ses œuvres au musée des Beaux-Arts de sa ville.

Il est enterré au Cimetière Saint-Roch (Valenciennes).