Stavbu Salhausenského zámku zahájili bratři ze Salhausenu počátkem 20. let 16. století. V prostoru zámečku byl však zřízen městský špitál zasvěcený Nejsvětější Trojici.