Le 3 mai 1945, peu avant la fin de la Seconde Guerre mondiale, Neustadt in Holstein et la baie de Neustadt ont été le théâtre de crimes nazis et d’une catastrophe maritime suite au bombardement des navires « Cap Arcona » et « Thielbek », qui transportaient des détenus des camps de concentration.
Sur deux péniches, les SS avaient déporté des détenus du camp de concentration de Stutthof (près de Dantzig) – des hommes, des femmes et des enfants de différentes nationalités, dont de nombreux Juifs et Juives – à travers la mer Baltique jusqu’à la baie de Lübeck. Après avoir d'abord été amarrées au « Thielbek », ces péniches ont finalement accosté sur la plage près de la maison des pilotes, entre Neustadt et Pelzerhaken. Des centaines de prisonniers du camp de concentration réussirent à rejoindre la terre ferme. Là-bas et sur les péniches, des soldats de la SS, des marins et des policiers, alertés par la population, en abattirent un grand nombre dans la matinée du 3 mai, d’autres encore sur le chemin menant à la caserne de la marine sur le Wieksberg.
Beaucoup des victimes furent d'abord enterrées dans une fosse commune près du lieu de débarquement des péniches. Ce lieu de sépulture, situé sur l'actuel Stutthofweg, devint ensuite un cimetière officiel à partir de 1946. Les autorités militaires britanniques y ont également fait transférer les corps échoués lors du naufrage du « Cap Arcona » et du « Thielbek », survenu dans l’après-midi du 3 mai. En 1947, un mémorial y a été érigé, et en 1948, le site a été officiellement inauguré en tant que cimetière d’honneur.
Parallèlement à l’aménagement du cimetière d’honneur sur la plage, le comité juif du camp de personnes déplacées de Neustadt s’est engagé pour que les défunts juifs, qui avaient jusqu’alors été inhumés dans la fosse commune près de la maison du pilote, dans d’autres fosses individuelles et communes sur la plage et au cimetière de l’hôpital régional, soient enterrés dignement dans un cimetière qui leur soit propre. Dès août 1945, des négociations d’achat avaient lieu avec la paroisse évangélique de Neustadt concernant une partie du terrain du cimetière situé sur le Grasweg.
Au cours du second semestre de 1946, les premières pierres tombales furent érigées. Le 5 janvier 1947 eut finalement lieu l’inauguration du cimetière, dont un compte rendu détaillé parut dans le journal juif « Unzer Sztyme », publié au camp de personnes déplacées de Belsen. Selon cet article, « au camp de personnes déplacées de Neustadt, des centaines de Juifs de Neustadt et des villes et villages environnants, ainsi que des délégations d’autres comités nationaux, s’étaient rassemblés avec des couronnes et avaient formé un cortège funèbre. Dans un silence pesant, le cortège funèbre, avec les délégations en tête, traversa la ville pour se rendre à la cérémonie commémorative au cimetière juif. » Le rabbin Joel Halperin et Paul Trepmann, du Comité central des Juifs de la zone d’occupation britannique, ainsi que des représentants de la ville de Neustadt-in-Holstein y ont pris la parole.