1937年8月，日本飞机开始对南京狂轰烂炸，拉贝从避暑的北戴河赶回南京，亲自设计了位于他庭院内的救济难民的防空洞，随后带领大家对8月份初建的防空洞进行改造加固。
拉贝和韩湘林在眺望空袭的飞机
约翰.拉贝在防空洞口
在院子防空洞旁边，还撑起了一块长6米、宽3米的帆布，在帆布上画了有卐字标记的德国国社党党旗，以警告日本轰炸机：不许侵犯，这是德国人的住地。
拉贝在帆布上画的德国社会党党旗
拉贝在防空洞入口处
1937年10月拉贝在防空洞前拍的照片
妇孺优先是拉贝规定的使用防空洞的原则，他还写了一首“和人人都相干”的诗告诫大家。
1937年12月13日，南京城沦陷了。大批中国人涌向安全区，安全区内设了25个难民收容所。拉贝的住宅小粉桥1号是其中之一，被称为“西门子难民收容所”，难民最多时这里收留了600多人。包括南京卫戍司令部的龙应钦、周清锋等在内的高级军官，都躲藏在拉贝家二楼，还有一名飞行员王光汉躺在拉贝家中养伤。在拉贝离开南京时，王光汉扮作拉贝的佣人，成功地离开了南京。
拉贝日记记载：拉贝住宅（西门子难民收容所）当时有602位难民
飞行员王光汉、龙应钦和周清锋化名在拉贝的员工名单中
日军在600多个难民中一一检查是否有当过兵的，在拉贝院中避难的宗有琴卖鱼苗的哥哥，因为头上常年戴草帽或毡帽，额头上有一道明显的帽箍，肩上也有挑担的老茧，日本人把她哥哥当作嫌疑人拉出来盘问，但在拉贝的竭力护卫下，终于平安无事。
难民宗有琴
拉贝的邻居丁永庆老人也在拉贝院内避难，他回忆说；“拉贝先生对我们难民关怀备至，提供粮食，祛寒的蚕豆等食物使我们得以生存。”
幸存者丁永庆老人
由于拉贝的得力呵护，他院子里的600多名难民，没有一个伤亡。1938年的新年，西门子难民收容所的难民们在院子里排队向拉贝三鞠躬，献给他一块大红绸布，上面写着“您是几十万人的活菩萨。”
拉贝的院子里保护的600多人无一伤亡
难民致拉贝的新年贺词
拉贝在他的日记中高兴地记载了当时的情形：“我得到了一份预料不到的再好不过的圣诞礼物，那就是600多个人的性命。”（《拉贝日记》，1937年12月25日）