Panstvo Iwaniska, ktorého súčasťou bol aj Ujazd, patrilo pôvodne (už v 12. storočí) cisterciánskemu kláštoru v Jędrzejowe. V 15. storočí sa tieto statky stali majetkom rodu Oleśnicki. Ďalší osud Ujazdu je spojený s rodinou Ossolińských. Na začiatku 17. storočia sa tieto statky nakrátko dostali do rúk Jána Zbigniewa Ossolińského, pána z Ossolina, ktorý v roku 1587 dal panstvo svojmu synovi Krzysztofovi ako svadobný dar. Krzysztof sa vzdal panstva Mielec v prospech panstva Iwaniska, ktoré prešlo do rúk jeho staršieho brata Maksymiliana. V roku 1619 sa tak Iwaniska a Ujazd stali majetkom Krzysztofa Ossolińského.
Krzysztof Ossoliński bol dôkladne vzdelaný muž s rozsiahlymi literárnymi, umeleckými, diplomatickými a politickými záujmami. Rozhodol sa vybudovať sídlo, ktoré by zatienilo všetky ostatné magnátske sídla v Poľsku i mimo neho. Zámok v Ujazde bol postavený v rokoch 1621 až 1644 v troch fázach. Hlavná budova a opevnenie boli postavené v rokoch 1621 až 1627. Ďalšou fázou bolo rozšírenie hodinovej (bránovej) veže, doložené letopočtom 1631 vyrytým na ušnej doske pri vchode. Fáza ta2h zahŕňala zmenu názvu centrály. Doteraz sa používal názov Krzysztopór, spájajúci meno zakladateľa s názvom erbu rodu Ossolińských. Iné meno Krzyżtopór sa používa dodnes. Vtedy bol na hlavnú bránu umiestnený veľký kríž a sekera a dnes už neexistujúci nápis: /Obranný kríž/Podporný kríž/Deti našej sekery/. Bolo to krédo zakladateľa – veriaceho katolíka – vyjadrujúce jeho osobný postoj k zásadám viery, ktoré vyznával. Za zmienku stojí, že pán Krzysztof bol úhlavným nepriateľom reformácie, aj keď jeho starý otec Hieronim bol kalvinista. Vďaka Krzysztofovi boli okrem iného zo Svätokrížskeho kraja vyhnaní ariáni. z Rakova, Skrzełówa a Iwanisky. V kieleckom biskupskom paláci je obraz zvečňujúci túto udalosť.
Zámok Krzyżtopór, postavený v palazzo typu fortezza, teda rezidencia spájajúca pohodlie svojich obyvateľov s obrannou funkciou, vykazuje úzke spojenie s jedným z najväčších talianskych sídiel - majetkom rodiny Farnesa - zámkom Caprarola, ktorý Krzysztof Ossoliński navštívil počas svojej cesty do Ríma.
Obranný hrad bol postavený na neobvyklom pôdoryse bastionového opevnenia vpísaného do päťuholníka. Palác, opevnenie a záhrada – tri hlavné prvky dispozície – boli osovo prepojené. O návrhári sa bohužiaľ nič nevie. Vďaka objavom v Archíve mesta Krakova je ako staviteľ spomínaný v roku 1633 doložený taliansky architekt Lorenzo Senes (Laurentius Senes, Muretto de Sant in Graubünden).