Der Bergerhof, auch Kapittelshof genannt, verdankt seinen Namen seinem Besitzer. Das Anwesen gehörte nämlich zu den Späthöfen (ein Komplex von Vermögenswerten und daraus erzielten Einkünften) des Kapitels von Thorn. Der Hartsteinrahmen des Gebäudes deutet daher auf einen bedeutenden Zweck hin.
Das Land in und um Neer gehörte entweder einem der laathoven oder war mit cijns belastet, so dass hier eine cijns (Steuer) entrichtet werden musste. Beide Höfe verfügten über ein zentrales Bauernhaus mit großen Scheunen und Ställen, in denen der Erlös vieler Spätgüter gesammelt wurde.
Die älteste Erwähnung des Bergerhofs stammt aus dem Jahr 1234. Im Jahr 1383 wurde er in Erbpacht vergeben und 1490 wurde "Der hof tgene berghe" mit Ländereien in der Bergerstraat an Jan van den Berghe verpachtet. Das heutige Gebäude in der Bergerstraat 23 wurde um 1703 erbaut und 1801 von der Familie Aquarius umgebaut.
