Stejně jako on si Brandýs oblíbil i císař Rudolf II. Do roku 1918 byl posledním majitelem Karel I. Rakouský. Během třicetileté války zámek utrpěl značné škody, které byly napraveny až počátkem 18. století.
