Již před rokem 1287 se v místech současných zřícenin vypínala gotická pevnost dvou věží – mocný hrad Zdislava z Lemberka, syna samotné legendami opředené léčitelky svaté Zdislavy. Své sídlo založil Zdislav na táhlé ostrožně nad řekou Jizerou na pradávné zemské stezce vedoucí z Prahy do Severních Čech.
Snad právě výběr mýta na strategickém místě kupecké cesty při pojizerském brodu byly hlavním důvodem umístění stavby právě zde. Své jméno pak získaly Zvířetice zřejmě podle Zvěraty, zakladatele nedaleké obce, existující již před stavbou hradu.