Tvrdza stála v Lhotice už roku 1363, kedy ju držal Oneš Tluksa zo Lhotic. Za husitských vojen tvrz ovládal Žižkov spojenec Zdeněk z Lukavca, ale už za jeho potomkov pustla.
Až roku 1542 získali dedinu s tvrdosťou bohatí slobodníci bratia Ján a Jiří Růžkové z vladyckého rodu „Růžků z Rovného“.