Vom alten Schloss Nunhem ist nichts bekannt, außer dass es auf einem Graben stand und Anfang des 18. Jahrhunderts durch ein neues Landhaus ersetzt wurde. Im Jahr 1732 beherbergte das Schloss vertriebene Nonnen aus Ommel in Brabant. Dies war ein Staatsgebiet der Republik, in dem Klöster nicht geduldet wurden. Diese Nonnen nahmen die Gnadenstatue aus Ommel mit nach Nunhem. Erst 1840 wurde die Statue nach Ommel zurückgebracht.
Im Jahr 1947 wurde das Haus durch einen Brand zerstört, so dass nur noch eine Ruine übrig blieb. Im Jahr 1978 wurde das Haus restauriert, wobei auch Materialien aus dem alten Haus verwendet wurden. Derzeit wird das Schloss von Nunhems Netherlands BV, dem Züchtungsunternehmen für Gemüsesaatgut der BASF, genutzt.
