Het witte kasteel kreeg zijn huidige uiterlijk in 1777. Het is het restant van een eertijds veel groter complex, ontstaan uit een woontoren die tussen 1383 en 1387 werd gebouwd in opdracht van Paulus I van Haastrecht, heer van Venloon. Waarschijnlijk al in de eerste helft van de 15de eeuw werd de vierkante toren uitgebreid tot een rechthoekig gebouw. In de 16de eeuw werden er omvangrijke zijvleugels aangebouwd alsmede bijgebouwen, een poortgebouw, koetshuizen, stallen en schuren. De kopergravure die Henri Ca­usé omstreeks 1690 maakte naar een tekening van J. van Croes geeft ons een indruk van het vooraanzicht.

In 1777 werden de oude kasteelgebou­wen gesloopt en werd een geheel nieuw ‘huis’ opgericht (architect J. Stevens, aannemer Hendrik Verhees). Tijdens de bevrijding van Loon op Zand eind oktober 1944 werden kasteel en omgeving zwaar beschadigd. Eind 1952 werd de restauratie voltooid.