Westlich des Dorfes Baarlo liegt das Kasteel De Raay. Der Name "Raaij" oder "Rode" deutet darauf hin, dass sich die Burg ursprünglich auf urbar gemachtem Land befand, denn er bedeutet "urbar gemachtes Land zwischen Ödland".
Die Geschichte dieser Burg geht auf das 13. Jahrhundert zurück. In Schriftstücken aus dem Jahr 1236 wird der Burgherr Tilman van Raade (Raay) erwähnt. Vom 15. bis 19. Jahrhundert wurde das Schloss von den Adelsfamilien Van der Horst, Baexen und Van der Marck bewohnt.
Im Winter 1935 baute die damalige Bewohnerin, Fräulein Geraerdts, eine bekannte Krankenschwester aus Swalmen, das historische Gebäude zu einem Hotel-Restaurant um. Derzeit ist das Schloss im Besitz der Hotelkette Pillows.
