Das Schloss Baexem, das in seiner heutigen Form aus dem 17. Jahrhundert stammt, wurde einst von der Militärfamilie Van Baexen bewohnt. Laut der Gedenktafel starben drei Ritter aus diesem Geschlecht anno MCCLXXXVIII. Dies könnte darauf hindeuten, dass die Ritter im Jahr 1288 in der berühmten Schlacht von Woeringen (einem Ort in der Nähe von Köln) gefallen sind. Später stellten adlige Einwohner auch die notwendigen Soldaten, von denen die meisten weit weg von zu Hause starben. Im Jahr 1878 kauften vier Familien aus Baexem gemeinsam das Schloss und die Ländereien des letzten adligen Besitzers, Baron Van der Marck, und teilten den Kauf durch Verlosung unter sich auf.
Wo sich früher der Gemüsegarten der Familie befand, befindet sich heute der einzigartige botanische Garten.
Über die älteste Baugeschichte des Hauses ist nicht viel bekannt. Die ältesten oberirdischen Teile stammen aus dem 17. Jahrhundert. Die Keller sind älter. Auf der rechten Seite des Schlosses stand ein Wohnturm, der wahrscheinlich zum ursprünglichen Haupthaus gehörte. Später wurde ein neuer Flügel rechtwinklig zum ursprünglichen hinzugefügt. Im 18. Jahrhundert wurde der linke Flügel hinzugefügt. Dadurch erhielt das Schloss eine mehr oder weniger symmetrische Form.
Im frühen 19. Jahrhundert war die Burg auf drei Seiten von Wassergräben umgeben. Ein Wassergraben umgab auch den Gemüsegarten des Schlosses.
Auf dem Vorplatz befindet sich ein regionales Restaurant, die Baronshoeve.
