Hrad postavil za franské okupace ve 13. století (pravděpodobně v roce 1245) slavný francouzský rytíř Geoffroy de Briel, baron z Karytainy. De Briel, narozený v Řecku, je jednou z předních postav v kronice Morea. Karytainu zdědil po svém otci Hugovi, který při sdílení Peloponésu Franky v roce 1209 získal jednoho z 12 baronů knížectví Achaia. Barony z Karytainy měly 22 lén.
Existují však náznaky, že v této poloze dříve existoval byzantský a možná i starověký hrad. V roce 1324 byl velitel hradu podplacen byzantským pánem z Mystras Andronikos II Palaeologus (přezdívaný „Asanis“) a Karytaina byla dobyta Byzantinci. V roce 1458 byla Karytaina dobyta Osmany.
Během turecké okupace byl i nadále důležitým hradem, protože byl centrem správního regionu Kizas. Na krátkou dobu během druhé benátské nadvlády na Peloponésu, v letech 1687 až 1715, hrad obsadili Benátčané.
V roce 1821 to byl jeden z prvních hradů, které byly osvobozeny po prvním vítězství řeckých revolucionářů pod velením Theodorose Kolokotronise v bitvě u Karytainy (27. března 1821). Toto první historické vítězství je důvodem, proč byla Karytaina zobrazena spolu s Kolokotronisem na starých 5000 drachmových bankovkách. V roce 1826 Kolokotronis hrad znovu opevnil, aby mohl sloužit jako základna a úkryt proti egyptským jednotkám Ibrahima paši, které přepadly Peloponés. Ibrahim se pokusil, ale nepodařilo se mu dobýt hrad.