För att se en annan Olomouc palatset igen måste gå på ett bergsområde. Bredvid rådhuset är en renässans herrgård, en gång ägdes av borgmästaren i Olomouc Václav Edelmann. 1572, köpte han två fallfärdiga hus på den största shoppingområdet i staden, som bestämde sig för att riva och bygga i deras ställe ett bostadsområde palats för sin familj.

När byggandet var klar, det är inte exakt känd, men historiker tror att det hände i 1586, när W. Edelmann beställa produktionen av sin egen vapensköld, att placera den vid ingången till slottet.

De utmärkande dragen i slottet anses fönstren, inredda i form av valv, och flera reliefer som är installerade på fasaden. De skildrar scener från Gamla och Nya testamentet.

År 1719 kom slottet som omfattas av de lokala kommunala myndigheter, som använde det för att passa olika stadens tjänster. Till exempel år 1816 fanns ledningen för Olomouc fästningen. Det fanns ofta en legendarisk befälhavare, general och kommendant på fästningen Ya JW Radetzky. Detta kan ses från plack pryder fasaden av slottet Edelmann. Hon placerades på väggen i herrgården 1892.

Med tiden slottet utsattes för ständiga renoveringar och ombyggnader. Hans förlängas, efterarbete, ändring, anpassning till kraven från vissa tjänstemän. Under åren 1850-1853 slottet bifogade uthus. Det var vid denna tid rådhuset tillfälligt flyttat in the mansion.

En annan viktig återuppbyggnad ägde rum i 30-talet av XX-talet. Sedan dess har slottet nästan byggas om.