De voormalige pastorie Moerenburg wordt door de Staatse overheid verkocht aan Charles Graham, kolonel in het Staatse leger. Zes jaren later gaat het huis over in handen van zijn neef, Philippe Claude de Saint Amant, die uiteindelijk generaal-majoor der infanterie zou worden. In deze familie zou het huis tot de afbraak in 1750 blijven.