Hrad postavil za francúzskej okupácie v 13. storočí (pravdepodobne v roku 1245) slávny francúzsky rytier Geoffroy de Briel, barón z Karytainy. De Briel, narodený v Grécku, je jednou z popredných postáv v kronike Morea. Karytainu zdedil po svojom otcovi Hugovi, ktorý pri zdieľaní Peloponéza Franky v roku 1209 získal jedného z 12 barónov kniežatstva Achaia. Baróny z Karytainy mali 22 len.
Existujú však náznaky, že v tejto polohe predtým existoval byzantský a možno aj staroveký hrad. V roku 1324 bol veliteľ hradu podplatený byzantským pánom z Mystras Andronikos II Palaeologus (prezývaný „Asanis“) a Karytaina bola dobytá Byzantíncami. V roku 1458 bola Karytaina dobytá Osmanmi.
Počas tureckej okupácie bol aj naďalej dôležitým hradom, pretože bol centrom správneho regiónu Kizas. Na krátku dobu počas druhej benátskej nadvlády na Peloponéze, v rokoch 1687 až 1715, hrad obsadili Benátčania.
V roku 1821 to bol jeden z prvých hradov, ktoré boli oslobodené po prvom víťazstve gréckych revolucionárov pod velením Theodorosa Kolokotronisa v bitke pri Karytaine (27. marca 1821). Toto prvé historické víťazstvo je dôvodom, prečo bola Karytaina zobrazená spolu s Kolokotronisom na starých 5000 drachmových bankovkách. V roku 1826 Kolokotronis hrad znovu opevnil, aby mohol slúžiť ako základňa a úkryt proti egyptským jednotkám Ibrahima paši, ktoré prepadli Peloponéz. Ibrahim sa pokúsil, ale nepodarilo sa mu dobyť hrad.