Zahrada byla založena králem Ferdinandem I. roku 1534 na místě původních středověkých vinic. Zahrady byly navrženy v renesančním slohu a postupem doby do nich přibylo mnoho objektů.