建国后，陈荫南仍以民主人士的身份，担任安徽省副省长。半城祖树屏是当地有名的士绅，江上青登门请他出来任“五游”保安司令部副司令，半城一带很快成为皖东北最稳定的地区。
1939年，国民党顽固派原泗县县长、时任灵璧县县长的许志远，不抗日，拉势力，树山头，在国民党内部争权夺利，与盛子瑾矛盾激烈，对皖东北抗日局势影响很大。江上青派中共党员吕振球到河南永城与新四军游击支队司令员彭雪枫取得联系，请他们到皖东北来作抗日的后盾。7月，彭雪枫派豫皖省委书记张爱萍及刘玉柱前来皖东北与盛子瑾谈判，由于江上青作了大量工作，很快达成协议，在半城张塘公开设立八路军、新四军驻皖东北办事处。
江上青为避免盛子瑾、许志远之间的冲突，影响皖东北抗日的局面，在征得张爱萍和特委书记杨纯的同意后，不辞辛苦地奔波于泗县和灵璧之间，促成盛、许二人到八路军苏鲁豫支队的胡炳云大队驻地灵璧县张大路举行会谈，在张爱萍主持下，许志远表面表现很好，愿意接受盛子瑾的政令，会谈很圆满，但暗地里许志远指使反动地主柏逸逊、王铸久部，埋伏在盛子瑾回程经过的泗县刘圩区小湾村。当盛子瑾、江上青等经过时，突然发起猛烈袭击，江上青奋起反击，不幸壮烈牺牲，时年28岁。
噩耗传来，皖东北抗日根据地的各界人士都沉浸在巨大的悲痛之中，分别在青阳、半城隆重举行追悼大会。江上青遗体安葬在八路军、新四军皖东北办事处附近的崔集。1982年迁葬于江苏泗洪县烈士陵园，并树碑立传，由老将军张爱萍题写碑名，杨纯、刘玉柱、周村撰写碑文。1985年4月13日，江上青的子女江泽民、江泽玲、江泽慧等专程前来为江上青扫墓，以寄托深切的哀思。