Panství Iwaniska, jehož součástí byl i Ujazd, patřilo původně (již ve 12. století) cisterciáckému klášteru v Jędrzejowě. V 15. století se tyto statky staly majetkem rodu Oleśnicki. Další osud Ujazdu je spojen s rodinou Ossolińských. Na počátku 17. století se tyto statky nakrátko dostaly do rukou Jana Zbigniewa Ossolińského, pána z Ossolina, který v roce 1587 dal panství svému synovi Krzysztofovi jako svatební dar. Krzysztof se vzdal panství Mielec ve prospěch panství Iwaniska, které přešlo do rukou jeho staršího bratra Maksymiliana. V roce 1619 se tak Iwaniska a Ujazd staly majetkem Krzysztofa Ossolińského.
Krzysztof Ossoliński byl důkladně vzdělaný muž s rozsáhlými literárními, uměleckými, diplomatickými a politickými zájmy. Rozhodl se vybudovat sídlo, které by zastínilo všechna ostatní magnátská sídla v Polsku i mimo něj. Zámek v Ujazdu byl postaven v letech 1621 až 1644 ve třech fázích. Hlavní budova a opevnění byly postaveny v letech 1621 až 1627. Další fází bylo rozšíření hodinové (bránové) věže, doložené letopočtem 1631 vyrytým na ušní desce u vchodu. Fáze ta2h zahrnovala změnu názvu centrály. Doposud se používal název Krzysztopór, spojující jméno zakladatele s názvem erbu rodu Ossolińských. Jiné jméno Krzyżtopór se používá dodnes. Tehdy byl na hlavní bránu umístěn velký kříž a sekera a dnes již neexistující nápis: /Obranný kříž/Podpůrný kříž/Děti naší sekery/. Bylo to krédo zakladatele – věřícího katolíka – vyjadřující jeho osobní postoj k zásadám víry, které vyznával. Za zmínku stojí, že pan Krzysztof byl úhlavním nepřítelem reformace, i když jeho děd Hieronim byl kalvinista. Díky Krzysztofovi byli mimo jiné ze Svatokřížského kraje vyhnáni ariáni. z Rakova, Skrzełówa a Iwanisky. V kieleckém biskupském paláci je obraz zvěčňující tuto událost.
Zámek Krzyżtopór, postavený v palazzo typu fortezza, tedy rezidence spojující pohodlí svých obyvatel s obrannou funkcí, vykazuje úzké spojení s jedním z největších italských sídel - majetkem rodiny Farnese - zámkem Caprarola, který Krzysztof Ossoliński navštívil během své cesty do Říma.
Obranný hrad byl postaven na neobvyklém půdorysu bastionového opevnění vepsaného do pětiúhelníku. Palác, opevnění a zahrada - tři hlavní prvky dispozice - byly osově propojeny. O návrháři se bohužel nic neví. Díky objevům v Archivu města Krakova je jako stavitel zmíněný v roce 1633 doložen italský architekt Lorenzo Senes (Laurentius Senes, Muretto de Sant in Graubünden).