Le musée ouvrit ses portes à la fin du XIXe siècle dans cet hôtel d’époque Renaissance. Le bâtiment doit en partie sa renommée aux grands noms qui lui sont associés : le sculpteur Jean Goujon (vers 1510-vers 1566), l’architecte François Mansart (1598-1666), ou encore la Marquise de Sévigné (1626-1696).

Un hôtel Renaissance : L’hôtel originel, situé au 23, rue de Sévigné, fut construit à partir de 1548 pour le compte de Jacques des Ligneris, président du Parlement de Paris. 

"Carnavalet", l'origine du nom : En 1578, l’hôtel fut acquis par Françoise de La Baume-Montrevel, veuve de François Kernevenoc’h ou Kernevenoy, un gentilhomme breton que les parisiens transformèrent en " Carnavalet ". Ce nom est resté depuis attaché au bâtiment.

En 1660, le nouveau propriétaire, Claude Boislève, décida la rénovation de l’hôtel. Il confia les travaux à François Mansart (1598-1666). L’architecte modifia le bâtiment du XVIe siècle : il suréleva les ailes latérales (très fortement remaniées), et enchâssa le porche Renaissance dans une nouvelle architecture.

L'illustre locataire : En 1677, le bâtiment fut loué à Marie de Rabutin-Chantal, marquise de Sévigné (1626-1696). La célèbre épistolière l’habita jusqu’à sa mort. Une galerie du musée est consacrée à cette illustre locataire et présente, entre autres, des portraits et des souvenirs.

En 1866, la Ville de Paris acheta l’hôtel pour y installer un musée consacré à son histoire.  A cette occasion, la restauration du bâtiment fut confiée au jeune architecte Victor Parmentier