关于是否要撤离北府军大营，而不与敌军进行任何的交战，北府军内部是有争执的。
一部分将领认为，之前花费大量的气力布置大营周边的防御设施，全军数万将士十几天来忙碌不休，挖掘工事，布置陷阱，制作拒马等等，便是为了据守大营，给予秦军强力打击的。
大量的防御设施会阻碍敌人的冲锋和进攻，若是辅以强弩弓箭的打击，将会给秦军带来极大的杀伤。
既然已经花了时间和气力，却要放弃大营转而退守八公山，这似乎有些不明智。起码也要防了再说，若是防不住再走也不迟。
这种观点以刘牢之为代表，高衡等几名将领均这么认为。以刘牢之的看法，这是大量杀敌的绝佳机会，不能轻易放弃。
但是，其余一些将领却认为要撤便立刻撤离，免得被秦军纠缠。特别是在昨夜探知秦军大批骑兵渡河，大量骑兵正在集结的消息之后。以何谦为首的将领们认为：要撤便迅速撤离。趁着月黑风高的夜晚，趁着秦军调兵遣将集结兵马的时候，全营从东北侧撤离大营，直接拒守八公山，不必拖泥带水。
何谦认为，既想要利用大营的防御设施杀伤敌人，又想要全身而退是不可能的。一旦秦军发动进攻，将不可能给北府军脱身的机会。大营距离八公山五里，秦军的骑兵一旦截断中间的通道，则会将大军分割包围，那时后果将不堪设想。
刘牢之等人也不是不明白这个道理，但对于不战而退的做法始终难以释怀。刘牢之建议，留下五千弓箭手守营杀敌，其余兵马撤上八公山。在营中留下马匹，关键时候可迅速骑马撤离。