Pôvodne renesančný zámok postavený významným českým šľachticom Václavom Budovcom z Budova, ktorý po bitke na Bielej hore prešiel do vlastníctva Albrechta z Valdštejna a jeho rodu.
Na konci 17. storočia bol prestavaný na terajší barokový zámocký areál a patril rodu Valdštejnov až do roku 1946. Dobové valdštejnské interiéry obsahujú vzácne bohaté zbierky ako napríklad delftskú fajáns, miešenský, japonský a čínsky porcelán, kostýmy, zbrane, zbrane a knižnicu s 22 tisíc zväzkami, ktorú spravoval Giacomo Casanova na zámku Duchcov.
V kaplnke sv. Anny sú uložené pozostatkami slávneho vojvodcu 30-ročnej vojny Albrechta z Valdštejna.