Au XIVème siècle, il n’existait qu’une ferme de trois pièces, avec son étage accessible à l’arrière par un escalier arrondi. Il faut s’imaginer un grand étang dans l’actuelle partie basse du jardin, ainsi qu’un moulin à eau, sur sa digue, aujourd’hui disparus. Seuls subsistent de cette époque la maison du meunier et la fontaine que jouxtent un abreuvoir et un lavoir, présents sur le terrain voisin. En 1419, Saint Vincent Ferrier, le grand prédicateur dominicain, vint se reposer au manoir et laissa son nom à la fontaine. Jusqu’à la Révolution, le manoir appartint à des nobliaux, dont un certain La Bourdonnais qui, parti accueillir les émigrés à Quiberon en 1795, fut fusillé sur ordre du Général Hoche. Vers 1798, confisqué par l’Etat et vendu comme « bien de la République », il fut acheté pour presque rien par Monsieur Jolivet, député de la Convention, puis procureur de la République. Le fils de ce même Jolivet, officier de Marine, joua un rôle actif dans l’abolition de l’esclavage en Martinique.