一九四一年四月二十四日晨五点钟左右，在上早操时，有四个上等兵迟到。谢晋元把他们叫到一旁询问之时，郝鼎诚、张文清、龙耀亮等突然拿起铁镐和其他凶器，猛击谢晋元。谢晋元因头部和胸部受了重伤，立即躺倒在地。官兵们捉住凶手以后，马上给工部局打了电话，将谢晋元送往医院进行抢救。因伤势过重，抢救无效，这位中华民族的抗日英雄，于六点多钟含恨去世。时年三十七岁。
对于谢晋元的去世，全体官兵万分悲痛。他们纷纷表示，头可断，血可流，抗战救国的意志不能丢，杀了一个谢团长，千百个谢晋元仍然在战斗。
谢晋元遇害身亡的噩耗传开，万民悲愤填膺。尤其上海各界民众，听到谢晋元身亡更为悲愤，并纷纷前往孤军营吊唁。谢晋元的遗体已经化妆，他身穿军衣，头戴军帽，躺在灵堂里。上海各界民众送的花圈，摆在谢晋元遗体的周围。
四月二十五日，举行棺殓仪式。前往送葬者达六七万人之多。盖棺前，在哀乐声中，全体官兵和来宾绕棺一周，有许多人抚棺大哭，久久不肯离去。
当时，全国各地纷纷致电谢晋元的家属，各界联合举行了大规模的追悼会，许多报纸出了追悼谢晋元的特刊。
蒋介石为悼念谢晋元，通电各军师官兵。文曰：“谢晋元团长之成仁，为我中华民国军人垂一光荣之纪念，亦为我抗战史上留一极悲壮之史迹，回溯该团长率领八百孤军坚守闸北，誓死尽职守护我国旗与最后阵地而绝不撤退，其忠勇无畏之精神，已获得举世之称颂。而其后留驻孤营中，为时三年以上，历受种种威逼利诱，艰危困辱，卒能强毅不移，始终一致，保持我国民革命军之独立自强之人格，此种长期奋斗，实较之前线官兵，浴血作战，慷慨而牺牲，尤为坚苦卓绝，难能可贵！……谢团长虽不幸殒命，然其精神，实永留人间而不朽，谢团长不仅表现我军人坚贞壮烈之气概，亦为我民族不屈不挠正气之代表……”
五月八日，南京政府追晋谢晋元为陆军少将。
为了歌颂谢晋元与八百壮士，当时不少报纸登载文章。冯玉祥在文章中歌颂了谢晋元勇敢牺牲、奋斗到底的精神。他写道，全国的武装同志们，要学习谢团长勇敢精神，奋斗到底的精神，驱逐残寇，争取最后胜利之早日到来。至于已经为中华民国写出一页光荣历史的八百壮士，一定会本着谢团长的遗志，坚苦卓绝地继续努力。
谢晋元牺牲以后，为了纪念他，将孤军营所在地上海胶州路，改名为晋元路。
一九八二年，谢晋元的墓地被迁往虹桥宋庆龄陵园的右侧。一九八五年八月十三日，在以谢晋元命名的晋元中学，举行了晋元塑像奠基仪式。一九八五年九月二日，上海闸北区政府，举行了“八百壮士‘四行仓库’抗日纪念地勒石纪念”揭幕仪式。