Ab 1936 war Huize Voorburg im Besitz der jüdischen Firma Kahn und Co. und diente als Landhaus für die Partner Kahn und Blum. Auch aus Deutschland geflüchtete Familienmitglieder wohnten dort. Kurz vor Ausbruch des Zweiten Weltkriegs verließen die Familien die Villa und sie stand von da an leer.

Im März 1941 wurde das Haus als "Hakhshara Home" genutzt, ein Ort, an dem jüdische Jugendliche ("Palästina-Pioniere") auf ihren Aufenthalt in Palästina vorbereitet wurden. Es beherbergte 34 Jungen und Mädchen im Alter von siebzehn und achtzehn Jahren sowie zehn Mitarbeiter. Die Bewohner wurden in Landwirtschaft und Tierhaltung ausgebildet.

Am 3. Oktober 1942 umstellte die SS das Haus, und die anwesenden Bewohner wurden in das Lager Westerbork deportiert. Ein großer Teil von ihnen landete auf einer Austauschliste, so dass sie den Transport nicht fortsetzen konnten. Sie erhielten ein so genanntes Palästina-Zertifikat, um gegen deutsche Staatsbürger ausgetauscht zu werden, die von den Briten in Palästina interniert worden waren.

Im September 1943 wurden fünf Führer der Gruppe aus Elden in Konzentrationslager transportiert. Nur zwei von ihnen überlebten dies. Im Januar 1944 wurden 30 "Palästina-Pioniere" von der Austauschliste nach Bergen-Belsen deportiert. Sieben von ihnen wurden dann in einer großen Gruppe über Wien nach Palästina transportiert. Die anderen blieben in verschiedenen Lagern, zwölf von ihnen wurden getötet. Die Überlebenden wurden schließlich am 23. April 1945 von russischen Truppen befreit.

Zur Erinnerung an die ermordeten "Palästina-Pioniere" wurde ein Gedenkstein errichtet. Der hebräische Text auf der Gedenktafel lautet:

Mögen ihre Seelen im Bündel des ewigen Lebens gebündelt sein".