Fils d'hôtelier, il apprend le dessin auprès du sculpteur Augustin-Phidias Cadet de Beaupré à l'Académie de Lille, puis étudie pendant deux ans la peinture auprès de François Souchon, lui-même élève de David. Il arrive à Paris en 1853 et prend alors le pseudonyme de Carolus-Duran. Il suit les cours de l'Académie Suisse de 1859 à 1861. Il est influencé au début de sa carrière par le réalisme de Gustave Courbet, qu'il rencontre vers cette époque, et se lie d'amitié avec Edouard Manet, Henri Fantin-Latour, Félix Bracquemond et Zacharie Astruc. C'est aussi en 1859 qu'il expose pour la première fois au Salon.

De 1862 à 1866, il voyage à Rome et en Espagne grâce à une bourse d'étude de sa ville natale. Son style en est transformé : il délaisse l'influence de Courbet pour celle de Diego Vélasquez, dont il sera avec Manet un des plus fervents admirateurs. De retour en France, il expose encore au Salon et reçoit pour la première fois une médaille d'or en 1866.

Il épouse Pauline Croizette, pastelliste et miniaturiste, dont il peint en 1869 un portrait qui reste un de ses chefs-d'oeuvre, La Dame au gant. Ils auront trois enfants, deux filles et un garçon. Leur aînée Marie-Anne épousera plus tard Georges Feydeau.

A partir de 1870, suite au succès de La Dame au gant, il se consacre principalement aux portraits. Son succès lui permet d'ouvrir un studio à Montparnasse, où il enseigne la peinture selon Velasquez. Il reçoit la légion d'honneur en 1872 et il est fait officier en 1878, commandeur en 1889 et grand officier en 1900.

En 1889 à 1900, il est membre du jury de chaque Exposition Universelle. Il participe en 1890 à la fondation de la Société Nationale des Beaux-Arts. Il est élu membre de l'Académie des Beaux-Arts en 1904 et il est nommé directeur de l'Académie de France à Rome en 1905, poste qu'il occupe jusqu'en 1913.

Carolus-Duran était un assidu de la station balnéaire de Saint Aygulf (Var) ou il possédait une villa (Malheureusement détruite aujourd'hui) et dans laquelle il aimait rassembler sa famille. La station balnéaire possède deux toiles offertes par Carolus-Duran qui se trouvent dans la chapelle (intégrée à l'église de notre dame de l'Assomption), le Christ en croix (inachevée) et l'embaumement du Christ 1882. Certains de ses tableaux sont d'ailleurs signés "Carolus-Duran Saint Aygulf". De plus la Station balnéaire a dédié une place et une plage au nom du Maître.