Tollboden er en to etasjes steinbygning i barokkstil fra 1761, med valmet tak og et ikke fullført marmorrelieff i gavlen, tegnet av arkitekt Johan Joachim Reichborn.
Tollkammerbygningen avløste en tidligere stor og påkostet tollbod i tre. Tollboden ble stygt skadet under eksplosjonskatastrofen på Vågen i 1944, men ble gjenreist i sin opprinnelige form i 1954 av Johan Lindstrøm.