以德惠，还不时遣小股军队假装击扰这些坞堡，让后赵方面想当然地认为这些坞堡地主是忠于自己的队伍。
感激之余，坞堡堡主常常向祖逖暗通消息，把后赵军队的行军意图和路线一一提前报告。
“（祖）逖爱人下士，虽疏交贱隶，皆恩礼遇之，由是黄河以南尽为晋土”。河南父老乡亲感悦祖逖的恩仁德政，作歌咏叹其美。刘琨也对此位老友的文治武功很有感慨，在与亲旧的书信中感赞祖逖。东晋朝廷徙祖逖为镇西将军。
由于有祖逖在，号称攻无不取、战无不胜的羯胡石勒再也不敢侵入河南之地，并派人在成皋县修葺祖逖母亲的坟墓。
石勒还写亲笔信给祖逖，要求“通使交市”。祖逖虽不回信，但却听任军民与河北的羯胡互市，交换各自所需，“收利十倍，于是公私丰赡，士马日滋”。
正当祖逖想“推锋越河、扫清冀朔”之际，东晋朝廷对他拥兵一方产生了疑忌，派江南士族出身的文人戴渊为都督，出镇合肥，以牵制祖逖。
前人栽树，后人乘凉，祖逖心中非常不舒服。当时，东晋朝中王敦与刘隗交恶，互相攻讦。祖逖深知内难一起，北伐大业会因之搁浅。忧愤如此，他仍然加紧一切军事准备工作，带病指挥营建武牢坚城。
公元321年10月，天文有变，“妖星见于豫州之分”。古人迷信，病入膏肓的祖逖也识天文，夜中他仰视星空，叹息道：“此星是应在我身！本想进军平定河北，而天欲杀我，这是对国家不利的征兆呵。”几天后，满怀遗憾，祖逖病亡，时年五十六。
宋人胡曾有首咏史诗，表达了对祖逖病亡的历史遗憾：“策马前行到豫州，祖生寂寞水空流。当时更有三年寿，石勒寻为阶下囚。”
毛泽东也有《七律·洪都》一篇叹美：“到得洪都又一年，祖生击楫至今传。闻鸡久听南天雨，立马曾挥北地鞭。”
祖逖死后，东晋朝中久怀逆乱的王敦大喜过望，他先前一直忌惮祖逖不敢有异谋，“至是始得肆意焉”。（中曾记载，王大将军始欲下都更分树置，先遣参军告朝廷，讽旨时贤。祖车骑尚未镇寿春，嗔目厉声语使人曰：“卿语阿黑，何敢不逊！摧摄面去，须臾不尔，我将三千兵，槊脚令上！”王闻之而止。）东晋派祖逖之弟祖约代替其兄统领其众，但节节失败，被祖逖收复的河南大片土地最终被后赵攻陷。
史臣把刘琨与祖逖同编一传，并在赞语中有非常中肯的评价：
刘琨年少之时，本无高节异操，终日走马贾谧门下，博饮石崇金谷园中，谈笑于司马伦幕府，实为轻佻幸进之徒！祖逖青年初期，义气散谷周济贫乏，半夜闻鸡昂然起舞，潜思中原烽火燎原，贪幸天下兵灾多艰，疑其本意，确乃贪乱乐祸之辈！然而，一俟国家有难，皇室沦亡，此二人各运奇才，并腾英气，疾风劲草，节操磊磊，捐身赴义，死所不辞，身虽丧亡，但成就万世千秋英名！
羯族石氏后赵王朝的兴亡从疯狂走向灭亡