V průběhu 16. století hrad zpustl a ke vzkříšení došlo až v době romantismu v 19. století. V roce 1802 se novým majitelem panství Malá Skála stal František Zachariáš Römisch, jenž jej odkoupil od Desfoursů.
