Le fief de Gresse est composé de plusieurs domaines: La Chevalerie, La Léhoudière, Les Epuissards, La Cour, La Fornassière et La Thandière. Une chapelle sur la motte entourée de douves est déja signalée au 15e siècle.

Jean-Baptiste Duchemin, détenteur de la seigneurie, fait démolir le manoir en 1760. Il fait alors reconstruire un nouveau château comprenant un corps de logis et quatre pavillons dont deux dans le jardin.

Le manoir est à nouveau rebati vers 1875 pour M. de Vauguyon, mais il ne sera qu’à moitié achevé.

Le château de Gresse dispose de peintures murales: cette oeuvre est composée de 6 panneaux représentant des armoiries, des saints et sainte Marthe triomphant du dragon.