Pôvodne gotický hrad bol postavený v polovici 13. storočia na rozsiahlom skalisku, podľa ktorého bol pomenovaný.
Prvé písomné zmienky sú z rokov 1316 a 1318. V rokoch 1327 až 1504 je Kameň kráľovským lením hradom.
Od roku 1523 hrad takmer 200 rokov vlastnila jedna z vetiev významného českého rodu Malovcov.