De schout van de heerlijkheid Loon op Zand Jonkheer Mathijs van Cannart, afstammeling van de Merodes, is eigenaar van het huis Broekhoven. Zijn familie blijft dat tot 1755, waarna het goed dat in feite nog slechts een boerderij is, via vele opeenvolgende eigenaars uiteindelijk aan de Tilburgse wethouder J.A.A. Kerstens komt, die op de plek van het oude gebouw in 1904 een villa zal zetten.