Le 21 septembre 1939, Reinhard Heydrich recommande l'établissement de ghettos et la création de conseils juifs en leur sein. Ces ghettos devaient être temporaires et servir ensuite de moyens supplémentaires pour l'expulsion des Juifs des territoires occupés par les Allemands. Dans un premier temps, les ghettos ont été créés à l'initiative des autorités allemandes locales. Le premier ghetto a été créé le 8 octobre 1939 dans la ville occupée de Piotrków Trybunalski, dans le centre de la Pologne. Au cours de cette période, les nazis envisagent de créer une "réserve juive" dans la région de Lublin, dans l'est de la Pologne, dont la conception est supervisée par Adolf Eichmann. A son tour, au printemps 1940, il y eut l'idée extravagante d'exiler des Juifs à Madagascar, dont l'exécution fut à nouveau confiée à Eichmann.

L'échec de ce plan incite les autorités nazies à procéder à la construction de ghettos plus vastes. Cependant, ils n'ont pas été construits selon un schéma précis, comme ce fut le cas pour les camps de concentration, qui ont été créés sur la base de l'expérience acquise lors de la construction du camp de concentration de Dachau. L'extermination n'étant pas encore planifiée de manière centralisée, les ghettos n'ont pas été considérés comme un élément d'extermination indirecte au cours de la phase initiale de la guerre. Des districts isolés sont créés dans toute l'Europe occupée par les Allemands. Rien que dans les territoires envahis de Pologne et d'Union soviétique, plus d'un millier ont été créés. Ces lieux ne sont pas tous identiques : les Allemands divisent les ghettos en ghettos fermés, ghettos ouverts et ghettos de transit.

Les ghettos fermés sont isolés du monde extérieur, clôturés et leurs entrées et sorties sont strictement contrôlées. De tels ghettos ont été créés à Lodz, Cracovie et dans la capitale polonaise occupée: Varsovie. Toutefois, la plupart des ghettos étaient ouverts et n'étaient donc pas entourés de murs. Souvent, il n'était pas interdit aux non-Juifs d'y pénétrer ; ce type de ghettos existait surtout en province. Les ghettos de transit, quant à eux, ont commencé à apparaître à l'époque de l'opération Reinhardt. Il s'agit de lieux qui fonctionnent pendant une courte période et qui sont souvent établis sur les sites de ghettos liquidés. Ils étaient destinés aux Juifs transportés depuis l'Europe de l'Ouest et étaient en quelque sorte des "antichambres de l'extermination", puisque c'est de là que partaient les transports de Juifs vers les camps de la mort.

Le plus grand ghetto de l'Europe occupée a été créé le 2 octobre 1940 à Varsovie. D'une superficie de 3 km2, il correspondait à la taille de la Principauté de Monaco, à ceci près que plus de 400 000 personnes y étaient rassemblées, soit dix fois plus que la population actuelle de la Principauté. Le ghetto est administré par le Judenrat, ou Conseil juif, et l'ordre est assuré par ce qu'on appelle la police juive - le Service d'ordre juif. La forte densité de population, les pénuries alimentaires et la politique brutale des occupants ont entraîné la mort de centaines de personnes chaque jour. Lorsque les nazis ont lancé la "grande action de liquidation" du ghetto de Varsovie, le 22 juillet 1942, près de 90 000 personnes avaient péri entre ses murs. Au cours de cette action, qui a duré deux mois, 300 000 de ses résidents ont été déportés dans des camps de concentration, puis assassinés. Un symbole dramatique de cette période fut l'Umschlagplatz, c'est-à-dire la cour de transbordement, où les Juifs entassés sous les matraques de la police juive et des SS étaient chargés dans des wagons et emmenés à l'abattoir.

Le ghetto de Varsovie a été le berceau du mouvement de résistance juive, qui a tenu tête aux nazis lors de la liquidation finale du ghetto. L'insurrection a éclaté le 19 avril 1943 et n'avait pas d'objectif stratégique. Les survivants de l'insurrection ont eux-mêmes raconté que le soulèvement était l'expression d'un désir de mourir honorablement au combat, ainsi que d'un désir de répondre d'une manière ou d'une autre aux crimes nazis. Le soulèvement, sans aucune chance de succès, a été réprimé en moins d'un mois.