曹军在组织迁徙遇到抵触后，最终也只是拉上了城中一半左右的人西迁，其中有些富家大族甚至只是派了家中一些子弟虚应故事，而隐匿起了大部分的族人。
同时，为曹操开道的张辽传回来的消息说河北军的游骑一直游弋在他周围，对他形成了相当大的压力。
张辽行军过程中稍稍提速导致队伍拉长就会受到河北军游骑上前袭扰，而他带人去驱散时人少了不抵用，人多了对方就跑了，他只得放慢了速度小心翼翼前进。
即便是这样，第一批挟裹的百姓也在乱中走失了近四分之一，更有百姓主动借机逃散的情况发生。
在荀攸等人的劝说之下，曹操权衡了一番利弊后终于决定力求稳重，自将了六千多士卒以为中军，趁着关羽带人在北门和东门外出城偷袭的空档，出西门而去。而他这次挟裹的百姓仅只有五千多人，比原本预计的少了近半。