První zmínka pochází ze začátku 8. stol. Mezi lety 1567–81 ho nechal přestavět Vratislav z Pernštejna pro sebe a svou choť.