Maison-forte au XIIe siècle, le château de Chamerolles a été construit par Lancelot 1er du Lac au XVIe siècle. Ce dernier a été Chambellan de Louis XII et gouverneur d'Orléans. Son château deviendra la première place forte protestante des environs d'Orléans vers 1560 avec Lancelot II du Lac.

En 1672, Chamerolles appartient à Jacques Saumery, beau-frère de Colbert. Il est gouverneur du château royal de Chambord et du comté de Blois, maréchal des armées du roi et grand-maître des Eaux et Forêts d'Ile-de-France. Puis en 1774, il passe entre les mains des Lambert et en 1924 entre celles de Gaston Jessé-Curély. Occupé, saccagé, dépouillé pendant la Seconde Guerre mondiale, il est mis en vente en 1970.

En 1976, la ville de Paris se retrouve avec la charge de Chamerolles. Délaissé, le château tombait en ruines. En 1987, cette merveille de l'architecture du XVIe siècle entre dans le patrimoine départemental du Loiret. Le Conseil général entreprend alors un ambitieux programme de restauration du château. L'aspect séduisant que lui avait donné la Renaissance a été retrouvé pour l'essentiel. Aujourd'hui, Chamerolles est devenu le château des parfums.