Pôvodný hrad z 13. storočia bol novo prestavovaný v polovici 16. storočia a znovu v rokoch 1580 – 1583, veža nad bránou bola dostavaná v r. 1744. Začiatkom 19. storočia dal zámok prestavať starý otec básnika R. M. Rilkeho, F. Zásadnú klasicistickú prestavbu dal vykonať v rokoch 1839-1842 Jakub Rudolf Geymüller. Až pri tejto prestavbe stratil zámok renesančný charakter.
Okolo zámku sa rozkladá anglický park so starou lipou (700 – 800 rokov), podľa ktorej dostala Kamenica svoj názov. Mestu Kamenice nad Lipou boli v južnom krídle zámku poskytnuté priestory pre nové umiestnenie Mestského múzea.