In 1402 werd de heerlijkheid Hoevelaken beschreven als bezit van de familie Van Zuylen, die het in leen had van de Gelderse hertogen. Nadat het kasteel in het rampjaar 1672 verwoest was, werd er in 1679 een nieuw huis gebouwd, iets noordelijker. Een latere generatie liet een middenlaan aanplanten en maakte daar een park omheen.