Původně gotický hrad byl postaven v polovině 13. století na rozsáhlém skalisku, podle kterého byl pojmenován.
První písemné zmínky jsou z let 1316 a 1318. V letech 1327 až 1504 je Kámen královským lením hradem.
Od roku 1523 hrad téměř 200 let vlastnila jedna z větví významného českého rodu Malovců.