Najstaršie časti zámku boli postavené v 13. storočí. Pôvodný hrad bol pôvodne pozvaný Motte Bauçay (alebo Baussay). Hrad patril rodu Bauçay, pánov z Loudun. Motte Baussay bol niekoľkokrát obsadený angličanmi počas Storočnej vojny. V roku 1654 nechal hrad prestavať markíz Francois II. d´Espinay, ktorý ho nechal pretvoriť na prepychové sídlo so záhradami a parkami. Aj kvôli tomu bol zámok neskôr zdevastovaný počas Francúzskej revolúcie.
V roku 1809 hrad kúpil bohatý obchodník François Hennecart, ktorý stavbu obnovil, ale zachoval jeho stredovekú podobu a na pozemkoch nechal založiť vinohrad. V roku 1857 zámok kúpil barón Edgard Lejeune, ktorý sa v roku 1870 pustil do rozsiahlej prestavby v romantickom duchu, pri ktorej pribudlo mnoho prepychu. V roku 1932, krátko potom, čo bolo nainštalované centrálne vykurovanie, zámok zachvátil požiar, ktorý zničil väčšinu jeho vybavenia.
Kompletne zničená bola knižnica so vzácnymi zväzkami, starožitný nábytok, tapisérie a drahé obrazy. Hasičom z celého regiónu, ktorí bojovali s ohňom sa podarilo zachrániť iba kaplnku, hospodárske budovy a holubník. Straty boli v tom čase vyčíslené na niekoľko miliónov frankov. V roku 1963 bolo celé panstvo zahŕňajúce 2000 hektárov, vrátane 1200 hektárov lesa, predané priemyselníkovi na odpočinku, Julesovi Cavroyovi. Potom ho v roku 1981 získal bývalý stredoškolský učiteľ matematiky Marc Deyemer. Tomu sa aj napriek jeho snahe nepodarilo zastaviť chátranie zámku, ktorý si postupne začala čoraz viac brať príroda. Deyemer dokonca v rozhovore pre jedny novina naznačil, že jeho úsilie narážalo na administratívne problémy zo strany úradov a prekážky, ktoré mu úkladne nakladali „istí ľudia“.
Kto to bol Deyemer nespresnil, ale medzi miestnymi sa hovorí, že situáciu skomplikovala francúzska banka Crédit Lyonnais, ktorá v 80. rokoch okolité pozemky aj s lesmi odkúpila a potom ich po častiach predávala za výhodné ceny. Tým sa celé panstvo rozdrobilo na malé kúsky patriace rôznym majiteľom a tým je sťažený aj prístup k samotnému zámku.