Mention en 1236 d'une simple maison forte avec colombier et jardin en possession de Simon de Bandeville.
Achat en 1530 par Thomas Rappouël, notaire et secrétaire du roi et de sa chambre, surintendant des finances.
Le château passe à son gendre Adrien du Drac vicomte d'Aÿ (1509-1573).
Le château passe en 1573 à son neveu Jean du Drac maître des requêtes et conseiller au Parlement de Paris.
Le château passe à son gendre Thierry Sevin conseiller à la Cour des aides puis président de la Seconde Chambre des Enquêtes du Parlement de Paris, qui construit le château actuel en 1622 et meurt en 1627.
Bandeville érigé en marquisat en 1682 au profit de François Bazin maître des requêtes qui fait transformer le château.
Le château est détenu pendant tout le XVIIIe siècle par de grandes familles de parlementaires parisiens.
Achat en 1806 par James-Alexandre de Pourtalès.
Le parc créé par Thomas Rappouël est réaménagé en parc à l'anglaise par Louis-Sulpice Varé en 1833.
Le 24 mai 1974 sont classés monuments historiques les façades, les toitures, le vestibule, l'escalier et le salon à décor Empire, et le parc inscrit sur l'inventaire supplémentaire des monuments historiques.
Toujours en possession de la famille de Pourtalès en 2021 (Hélie de Pourtalès de Talleyrand en 2021).