难民就南下江陵，走了。
魏延则还在和文聘苦战，两人武功都差不多，打得是不分上下。打着打着，魏延就有点纳闷，心说:怎么我打了那么久，也没见刘备的人攻上来，他们在干嘛呢。
魏延找了个机会偷看了一眼刘备刚在所在的位置。这一看不要紧，把魏延吓一跳，又很生气，心说:这怎么连个人影都没了？刘备，我这拼死拼活可都是为了你啊，你怎么跑了也不跟我说一声，你对得起我吗？
魏延觉得自己很委屈，很尴尬！好心帮刘备，人家却不领情，还丢下自己就走了。羞臊得他无地自容，找了个机会，放了几句狠话，带着所剩无几的亲兵就跑去投奔长沙太守韩玄了。
这一路上，一些刘琮的属下，因为对刘琮投降曹操，十分不满，纷纷来归附刘备。又有一些百姓听说皇叔刘备来了，也加入了南迁的大军。当到达当阳县的时候，追随刘备的人已经达十几万，粮草物资几千车，而且大部分都是普通百姓，这极大的拖慢了行军速度，每天最多能走十几里路，这就急坏了诸葛亮。