Původní hrad ze 13. století byl nově přestavován v polovině 16. století a znovu v letech 1580 – 1583, věž nad branou byla dostavěna v r. 1744. Počátkem 19. století dal zámek přestavět děd básníka R. M. Rilkeho, F. Rilke. Zásadní klasicistní přestavbu dal provést v letech 1839-1842 Jakub Rudolf Geymüller. Teprve při této přestavbě ztratil zámek renesanční charakter.
Okolo zámku se rozkládá anglický park se starou lípou (700 – 800 let), podle které dostala Kamenice svůj název. Městu Kamenice nad Lipou byly v jižním křídle zámku poskytnuty prostory pro nové umístění Městského muzea.