后来，日军在进攻衡阳和芷江时遇到中国军队的顽强抵抗。战斗一开始，来自第四师团的老兵又故伎重演，从军官、士官到老兵纷纷入院，消极但合理地拒绝作战。当负伤的日军士兵到医院的时候，那些养病的第四师团前辈们还要问：你为什么要这样玩命啊？当被问到自己为何不愿意参战时，这些病号却豪气冲天地说：听说这次出击我们是担任佯攻的，这很没有意思，如果是主攻么，自然是要好好打一仗喽。
1942年4月，第四师团被调往菲律宾，参加对科雷吉多尔要塞的最后攻击。这一仗第四师团一反常态地进展顺利，圆满完成任务，最终在巴丹半岛的美菲军全部投降。事后才知道这并不是第四师团的功劳，而是菲律宾的美菲军已被切断补给多日，靠盐和青菜活着已经好几个月了，一触即溃一点儿也不新鲜。此后，第四师团在日军战线后方不断调转，始终没有再参加大的战斗。
1945年8月日本投降时，第四师团正在泰国的曼谷附近休整。与其他不肯接受战败命运的日军部队不同，第四师团的投降与回国进行得异常顺利。当全体面色红润、身体健康的第四师团官兵出现在日本港口时，本土那些营养不良、形容枯槁的日本人都十分吃惊。
统计下来，第四师团是日军南方军中战死最少、装备物资保留最完整的部队。美军对这个师团的评价是爱好和平。而第四师团回国后，也马上体现出这一特点来，回国后第二天，就有官兵跑到美军兵营前，整齐地摆开摊位，兜售起战争纪念品来。