Au décès d'Innocent de la Grange, qui avait épousé Jeanne de Houdry, ce fut Charles de La Grange, leur fils, qui vers 1630 lui succèda dans la possession de la terre de Neuville. On lui connait deux frères : Louis de La Grange, seigneur de Chennevières, décédé en 1641, et l'abbé Sébastien de La Grange aumônier du roi, chanoine de la Sainte-Chapelle, et abbé de Saint-Acheul, prés Amiens, décédé à Issy, près Paris, le 7 mai 1637 et inhumé dans la chapelle du château de Neuville. En 1793, son cercueil de plomb fut brisé et ses ossements profanés et dispersés.
Ce que l'on sait d'absolument certain sur la chapelle du château de Neuville, c'est qu'elle fut reconstruite par Charles de la Grange, seigneur de Neuville, en 1637. Héritier de son frère Sébastien de la Grange-Trianon, il devait nécessairement exécuter les clauses d'un testament qui le favorisait.
Au décès d'Innocent de la Grange, qui avait épousé Jeanne de Houdry, ce fut Charles de La Grange, leur fils, qui vers 1630 lui succèda dans la possession de la terre de Neuville. On lui connait deux frères : Louis de La Grange, seigneur de Chennevières, décédé en 1641, et l'abbé Sébastien de La Grange aumônier du roi, chanoine de la Sainte-Chapelle, et abbé de Saint-Acheul, prés Amiens, décédé à Issy, près Paris, le 7 mai 1637 et inhumé dans la chapelle du château de Neuville. En 1793, son cercueil de plomb fut brisé et ses ossements profanés et dispersés.
Ce que l'on sait d'absolument certain sur la chapelle du château de Neuville, c'est qu'elle fut reconstruite par Charles de la Grange, seigneur de Neuville, en 1637. Héritier de son frère Sébastien de la Grange-Trianon, il devait nécessairement exécuter les clauses d'un testament qui le favorisait.
Par ce testament en date du 18 juin 1636, l'abbé Sébastien lui avait abandonné sa part d'héritage dans la seigneurie de Neuville, sous la condition d'y faire bâtir un oratoire avec caveau pour y faire sa sépulture, d'entretenir un chapelain qui dirait la messe dans la chapelle du château et instruirait les enfants pauvres de Neuville et de Ham, et ce moyennant trois cents livres tournois à lui servir annuellement sur les biens qu'il abandonnait à son frère.
Charles de La Grange, petit-fils de Louise Guibert, réunit en sa seule main la seigneurie, les fiefs en dépendant (dont Ham en 1647) et la baronnie de Conflans, achetée en 1642 et que lui et ses successeurs ont toujours voulu tenir séparée de la seigneurie de Neuville.
L'ancien château n'était plus alors apte à représenter dignement son seigneur et illustre hôte, et Charles de la Grange entreprit de faire construire vers 1640-1645 une bâtisse avec deux ailes et un corps central : le château tel qu'il nous apparaît aujourd'hui, plus confortable, plus "moderne", plus grandiose aussi que l'ancien manoir des Guibert qui tombait en ruine. On ne parle plus alors dans les textes d'hôtel seigneurial mais de château.
Mais, pour arriver à construire ce vaste château et réunir d'un seul bloc toutes les anciennes propriétés de son parc actuel, il y avait quelques empêchements qu'il fallait surmonter. Il y avait d'abord un chemin public traversant l'ancien manoir, qu'il fallait faire disparaître. Ce chemin était le prolongement de celui d'Eragny vers l'Oise et servait d'accès au bac. Déjà Innocent de La Grange avait essayé de le détourner en déplaçant le bac pour le mettre où est le pont actuel ; il avait même eu l'intention, en 1622 et en 1624, de construire à cet endroit un pont en bois pour dédommager les habitants. Mais les autorités de la ville de Pontoise s'étaient opposées à la construction de ce pont, et ce ne fut qu'en 1638 que Charles de La Grange, du fait acquis par le déplacement du bac, put obtenir du roi Louis XIII la possession de l'ancien chemin qui le gênait dans son plan de construction d'un nouveau château. Il y avait aussi l'ancien manoir et l'aile de bâtiment costruite par les Guibert ; l'ancien manoir fut sacrifié, mais le bâtiment des Guibert fut respecté comme ne déparant pas trop le nouveau château.
La construction de ce château avait débuté dès 1637 par l'élévation d'une nouvelle chapelle, non loin de l'ancienne, puis, après l'autorisation de 1638, ce fut la clôture du parc et ensuite, vers 1642, la construction du nouveau château. C'est pendant cette construction en 1643, le 11 janvier, que Marie Pâris, la seconde femme du baron de La Grange, vint à mourir en lui laissant une fille unique, Anne, âgée d'une dizaine d'années ; elle fut inhumée dans la chapelle du château.