El retrato de Caroline Rivière es el tercero de los tres que Philibert Rivière encomendó a Jean Auguste Dominique Ingres, junto con el de su esposa y el suyo propio, en 1806. El matrimonio tenía otro hijo, Paul, que no fue retratado.

En ese momento Caroline era una adolescente de entre 13 y 15 años, a quien el pintor describió como «deslumbrante«. El retrato, con reminiscencias clásicas, fue recibido con alguna críticas de quienes consideraron que era excesivamente erótico y sensual. Visto con la perspectiva del tiempo, tiene un halo trágico si se considera que Caroline murió al año siguiente de posar para el pintor.

Los tres retratos de la familia Rivière se exhibieron en el Salón de Bellas Artes de París el mismo año de 1806. Cuando Ingres trató de reunirlos de nuevo para una exposición en 1855 no pudo localizarlos pues todos ellos habían muerto: Carolina en 1807, Philibert en 1816 y Sabine en 1848. Los guardaba Paul Rivière. A su muerte, fueron donados al Estado por su viuda, como se puede apreciar en la inscripción que aparece en la parte superior. Para entonces, 1870, hacía tres años que también Ingres había fallecido.