Le marquis de Castellanne fut seigneur de Neuville et baron de Conflans jusqu'en 1775, époque où il vendit son château, ses propriétés et ses droits à l'ambassadeur d'Autriche, le comte de Mercy-Argenteau et cela, dit-on, par suite du chagrin qu'il avait eu d'avoir perdu sa fille noyée dans l'Oise. Toujours est-il que lui et sa femme furent les derniers descendants des Guibert et des Montmorency qui occupèrent le château de Neuville.
Au départ des descendants des bourgeois de Pontoise, ce fut donc le seigneur Monseigneur Florimont comte de Mercy-Argenteau, Ambassadeur de Sa Majesté Impériale, royale et apostolique d'Allemagne près de la Cour de France, l'Ambassadeur, comme on l'appela communément, qui vint habiter le château de Neuville, par suite de l'acte de vente que lui fit pour 390.000 livres, le 6 décembre 1775, devant Me Millon d'Ailly, notaire à Paris, le marquis de Castellane, de la baronnie de Conflans, de la terre et du château de Neuville et de tous les droits féodaux y attachés.
Il était né dans une famille belge de haute noblesse résidant à Argenteau, au nord de Liège.
Il se destinait à la carrière diplomatique et débuta comme secrétaire d'ambassade en France. Quelques années plus tard, après d'autres postes en Europe, notamment en Italie, il revint dans notre pays comme Ambassadeur de sa Majesté Impériale royale et apostolique d'Allemagne à la cour de France, c'est-à-dire le représentant de la cour de Vienne à Versailles. C'est à ce titre qu'il sera le chaperon, confident et conseiller de Marie-Antoinette, une des filles de l'Impératrice Marie-Thérèse qui, mariée à Louis XVI, deviendra Reine de France en 1774.
Son influence diplomatique très importante, restée secrète jusqu'à la publication de sa correspondance, tient une bonne place dans les biographies royales, surtout celles de la reine guillotinée en 1793. Le Comte de Mercy-Argenteau est loin d'être insensible à la vie mondaine à Paris où il a son hôtel particulier et se prend d'amitié pour Rosalie Levasseur, une jeune chanteuse d'opéra née à Valenciennes. Il découvre notre région quand il fait l'acquisition, en 1772, du château de Chennevières à Conflans-Sainte-Honorine.
C'est pour sa maîtresse, Rosalie Levasseur, que l'ambassadeur acheta le château de Chennevières (hameau de Conflans-Ste-Honorine) ; de son acquisition faisait partie la grosse tour de Conflans, chef-lieu de la baronnie, dite tour de Ganne, qui ne renfermait plus alors que les archives, l'auditoire et la geôle ; mais à Neuville se trouvait un joli château, un superbe parc bordant l'Oise, une allée d'un kilomètre de long plantée d'une quadruple rangée de peupliers; il y avait aussi des arbres séculaires, des ormes, un superbe cèdre et un Sophora gigantesque, qui fleurit tous les trois ans ; ils existent encore aujourd'hui. Pour l'ambassadeur, la vallée était charmante, l'air pur, le climat très doux, la situation commode, à proximité de Paris, de Versailles et surtout de Chennevières ; l'ensemble constituait donc pour lui une fort belle propriété, pourvue d'un droit de chasse qui s'étendait sur les territoires de Neuville, de Conflans, de Ham, d'Eragny et de Chennevières, giboyeux en lièvres, lapins, perdreaux, et, dans certaines parties, propice à l'élevage des faisans.