Skulen hadde rom i «almuebygningen» på prestegarden Tyse. Mellom 8 og 40 elevar vart opptekne årleg fram til 1860. Til dess var i alt 326 elevar opptekne på skulen.
To bruk på garden Øvre Rommetveit vart innkjøpte for utbygging av skulen. I 1866 kom det første store skulebygget. Øvingsskulebygg kom i 1881. Andre store byggeperioden kom i 1917 med aula, internat og lærarbustader kringom på eigedommen. Ein parkliknande hage vart laga til mellom skulebygget og sjøen. Her er det framleis eit stort utval av eksotiske planteslag.
I 1875 vart rektorstillinga skild frå sokneprestembetet. Stiftseminariet endra namn til Stord lærarskule og seinare Stord lærarhøgskule. «Seminariet» festa seg så sterkt i folkemedvitet at det har vorte fast stadnamn på Stord.