Offiziere nutzten die Insel zum Schießen von Wild und zur Ausbildung, und am Ende der Besatzungszeit lebte dort nur eine Familie aus Guernsey, Herr &, Frau Le Page und eine Haushälterin. Eine Flakbesatzung, die auf Herm stationiert war, wurde Anfang April 1945 nach Guernsey verlegt.

11 Tage vor der endgültigen Befreiung der Inseln im Mai 1945 wurde ein deutscher Offizier, Baron von Heldorf, von Guernsey nach Herm verbannt und wohnte für kurze Zeit im Herm Manor House. Baron von Heldorf war Stabschef von General von Schmettow, dem Kommandanten der Inseln, bis von Schmettow nach Deutschland zurückgeschickt wurde und Admiral Huffmier das Kommando übernahm. Von Heldorf, der Hitlers Festungspolitik ablehnte, gehörte zu den ranghohen Offizieren, die ein Attentat auf Huffmier geplant hatten, das jedoch scheiterte. Daraufhin wurde von Heldorf in Ungnade nach Herm geschickt.

Am Tag der Befreiung ging die Inselbewohnerin Frau Le Page mit einer kleinen Union-Jack-Flagge zum Hafendorf Herm hinunter. Ein deutscher Soldat befestigte die Flagge anschließend an der Spitze eines Eisenbahnkrans als Zeichen der deutschen Kapitulation von Herm. Die Le Pages wurden am frühen Nachmittag des Befreiungstages am 9. Mai von britischen Soldaten der Befreiungstruppe mit einem Boot aus dem Hafen abgeholt und nach Guernsey zurückgebracht.

Von Heldorf wurde einige Tage nach dem Befreiungstag von britischen Soldaten aus Herm abgeholt, wo zu diesem Zeitpunkt nur er und sein Offiziersbursche wohnten.