Hagerupgården ble bygget som privat bolig i 1705 for en av byens sentrale menn av arkitekt Johan Conrad Ernst, i samarbeid med byggmester Hans Martin Heintz. De to samarbeidet om gjenreisning av byens offentlige og private bygninger etter bybrannen i 1702.
Hagerupsgården er en av byens første barokkbygninger og er ombygget mange ganger, bl.a. av amtmann Edvard Hagerup i 1809. Huset var planlagt revet, men kommunen tok hånd om eiendommen i 1857, og den har siden blitt brukt bl.a. til kontorer og møtelokale.
Hagerupsgården blir også kalt Stiftsgården og bygningen ble fredet i 1927.