Als "nichtarisches" Ehepaar mussten Elisabeth Neumanns Eltern im November 1938 das christliche Altersheim in der Körnerstraße verlassen - die NS-Behörden hatten der Einrichtung offenbar mit dem Entzug des Gemeinnützigkeitsstatus gedroht. Sie kamen in der Pension Hirschfeld unter, wo Ende 1939 Elisabeth Neumanns Vater starb. Nachdem die ebenfalls NS-bedrohte Familie Hirschfeld ihre Pension zugunsten eines Kindergartens der Nationalsozialistischen Volkswohlfahrt aufgab, zog Helene Neumann im September 1941 zusammen mit Sohn Richard und möglicherweise auch mit Elisabeth in ein "Ghettohaus" (NS-Jargon: "Judenhaus", Sammelunterkunft vor der Deportation), Beethovenstraße 21. Dort wohnten auch zwei Cousinen Helene Neumanns, die sich vor der Deportation das Leben nahmen: Ella Ottilie Marckwald, geb. Hirschhorn, und Marie Nanny Hirschhorn.