Het pand Kerkstraat 64 op de hoek Kerkstraat-Kasteellaan werd gebouwd in 1905 nadat zijn voorganger in april 1904 door brand was verwoest. Dat pand werd gebouwd in de tweede helft van de 19de eeuw. Sinds het derde kwart van die eeuw tot in deze eeuw had Kerkstraat 64 een horecabestemming. Na de aanleg van de tramlijn Tilburg-Besoijen in 1881 werd de herberg tramstation. De toenmalige eigenaar, leerlooier en herbergier Adriaan Vermeer (1823-1891), had daarvoor op kosten van de Noord-Brabantsche Stoomtramweg-Maat­schappij te Tilburg de hoek van het huis laten afbreken, zodat de tram de bocht kon nemen. In 1934 kwam er een einde aan het personenvervoer per tram door Loon op Zand, in 1937 ook aan het goederenver­voer. Vele kasteleins hebben hier hun gasten ontvangen en het etablissement heeft dan ook vele namen gehad in de bijna anderhalve eeuw van zijn bestaan.