Von der alten Burg Nunhem ist nichts bekannt, außer dass sie auf einem Wassergraben stand und Anfang des 18. Jahrhunderts durch ein neues Landhaus ersetzt wurde. Im Jahr 1732 beherbergte das Schloss vertriebene Nonnen aus Ommel in Brabant. Dies war das Staatsgebiet der Republik, in dem Klöster nicht geduldet wurden. Diese Nonnen nahmen die Gnadenstatue von Ommel mit nach Nunhem. Erst 1840 wurde diese Statue nach Ommel zurückgebracht.
Im Jahr 1947 wurde das Haus durch einen Brand zerstört, so dass nur noch eine Ruine übrig blieb. Im Jahr 1978 wurde das Haus restauriert, wobei auch Materialien des alten Hauses verwendet wurden. Derzeit wird das Schloss von Nunhems Netherlands BV, dem Gemüsesaatgut-Zuchtunternehmen der BASF, genutzt.
