Ce domaine a appartenu à différentes familles importantes du pays. Ce sont néanmoins les Boudry des Viviers qui ont essentiellement marqué les lieux. Citons surtout Emerence de Boudry des Viviers qui épousa le comte Simon de Renduffe. Celui-ci était pair et Grand du royaume du Portugal. C’est à ce titre que le couple reçut le jeune roi portugais, Pedro V, en juillet 1854. Une colonne marque cette illustre visite au château des Viviers.
