Seit 1500 lebte die wohlhabende Familie Scheres von Generation zu Generation auf diesem Landgut mit dem Namen Scheresgoed. Frederik Baron van Olne erwarb das Haus Scheres im Jahr 1766. Die Freiherren von Olne rissen das Haus Scheres ab und erbauten das heutige Schloss Scheres.
Willem d'Olne war das letzte Mitglied der Familie d'Olne. Er heiratete die Baronin de Weichse de Wenne von Geysteren. Als diese Baronin 1930 als Witwe starb, ging das Schloss in den Besitz von Baron de Weichs de Wenne, einem deutschen General, über. Er verpachtete es an seinen Sohn, der es ab 1935 bewohnte.
Im Jahr 1962 war der japanisch-amerikanische Künstler Professor Shinkichi Tajiri Eigentümer des Schlosses. Die Eisenknöpfe in Baarlo sind von seiner Hand.
Das Schloss und der Garten von Schloss Scheres sind nicht für die Öffentlichkeit zugänglich.
