In 1271 wordt bij het stamslot van Jan van Popkensburg een klein convent gebouwd door de Ridderlijke Duitsche Orde, die zich bezig houdt met de zorg voor zieken en ouderen. Jan van Popkensburg had de grond in 1268 geschonken en na zijn toetreding tot de orde werd hij benoemd tot commandeur van het convent in Zantvoort.

In de 14e en 15e eeuw is het kasteel in bezit van de heren van Borsele, die het rond 1353 grondig laten verbouwen. Door vererving komt het kasteel in handen van Maximiliaan II van Bourgondie.

Na diens dood in 1558 worden kasteel en heerlijkheid verkocht aan  Philibert van Serooskerke en Arend van Valckensteyn. Omdat zij Spaansgezind zijn krijgt het kasteel een sterke Spaanse verdediging en wordt het in de Tachtigjarige Oorlog (1568-1648) niet door de Geuzen verwoest.

In de 17e eeuw komt het kasteel in bezit van Boudaen Courten.

 Door vererving wordt het kasteel in de tweede helft van de 18e eeuw eigendom van de familie Van Citters. Zij laten het kasteel opnieuw verbouwen.

In 1865 wordt het kasteel aangekocht door Agelink van Rentergem. Hij laat het kasteel slopen. Hierna verandert de functie van het Hof Popkensburg en wordt het een boerderij. De boerenwoning en schuur herinneren hier nog aan deze tijd.

In 1986 ontstaat op initiatief van de Maatschappij van Welstand Cooperatieve Vereniging Woongemeenschap van Ouderen Hof Popkensburg