Původně renesanční zámek postavený významným českým šlechticem Václavem Budovcem z Budova, který po bitvě na Bílé hoře přešel do vlastnictví Albrechta z Valdštejna a jeho rodu.
Na konci 17. století byl přestavěn na nynější barokní zámecký areál a patřil rodu Valdštejnů až do roku 1946. Dobové valdštejnské interiéry obsahují vzácné bohaté sbírky jako například delftskou fajáns, míšeňský, japonský a čínský porcelán, kostýmy, zbraně, unikátní historické divadlo s funkční mašinérií a knihovnu s 22 tisíci svazky, kterou spravoval Giacomo Casanova na zámku Duchcov.
V kapli sv. Anny jsou uloženy ostatky slavného vojevůdce 30leté války Albrechta z Valdštejna.