如果日军可以在徐州全歼中国军队的主力，那等待中国的，只有亡国一途了，正是因为看清了这一点，日本军部做了个在徐州地区全歼中国军队的计划，对于这个计划，日本的陆军大臣是很忐忑不安的，因为这个计划与之前制订的不在一九三八年扩大侵华战事相违背，但却没有想到，这时的天皇因为台儿庄惨败而感到没有面子，正想找回来，所以立即批准了这个计划。
当军部拿到天皇的批复时兴奋异常，以极快的速度开始布置对徐州的战事，日本军部命令华中派遣军的烟俊六带领主力由南向北推进，华北方面军的寺内寿一大将由北向南推进，最后将第五战区中国军队主力进行合围，一举歼灭，两方面的兵力加起来共约二十五万人。
不过老奸巨猾的烟俊六却看出了问题，他进行了一下推算，日军的一个联队三千八百人，其战斗力相当于中国一个师近万人，这么计算，二十五万日军大约可以顶得上七十多万中国军队的战斗力，而中国军队在徐州是六十万人，日军并不占绝对的优势，另外，在广大的地域上实施包围，必须要有大量的兵力和超强的机动力，否则根本不可能合围成功。
与全机械化与摩托化的德国人不同，日本人只有小部分的部队实现了机械化与摩托化，大部分依然停留在骡马化阶段，每个师团大约有七千多匹马，也就是说，日军的主要运载工具依然是牲畜，其机动力自然与机械化的部队无法相比，在如此广大的地域上实行合围，各部队相互配合，快速到达指定地点的能力都是有限度的，虽比中国军队强，但想短时间内穿插合围怕是能力不足。
烟俊六是一个明白人，他对日本军部的这个作战计划很不解，但是他是军人，既然上级，特别是天皇都下了命令，自己只能服从。
日本人可以说是孤注一掷了，派出了在中国几乎所有能动用的兵力，由寺内寿一大将指挥北路军团，北路兵团由华北方面军几乎砸锅卖铁的搞出了8个师团：计有第5、第10、第16、第110、第103、第104、第105、第14等师团，以及临时从关东军抽调的山下、酒井兵团各一部（共两个旅团编制，战斗力很强）。
南路兵团由畑俊六大将指挥，为华中派遣军所辖第9、第13、第116、第106，共4个师团。
其中的第5，第9，第10，第13，第14，第16这6个师团都是日军战斗力最强的甲种一流师团，也是日军手上最精锐的部队了。
日军华北方面军和华中方面军配合作战，由寺内寿一大将和畑俊六大将联手指挥。由于日本军部对这场决定抗战前景的战役非常重视，他们害怕两个方面军协调有问题，特别安排日本军部大本营作战部长桥本群少将率参谋本部的派遣亲自赶往济南负责协调作战。
除了陆地外，在空中，日本人还派出了在华空军的大部分力量，以德川好敏航空队为主，下属三个飞行团，只这三个飞行团的实力，就超出已经残破的中国空军飞机数量的数倍。
另外，日本军部下令驻青岛的丰田副武中将的日本海军第4舰队给予海上支援，第4舰队有数十艘军舰，而中国海军，现在已基本上全军覆没了。
在一切就绪之后，日军终于开始发动了进攻，在北面，出现了四个师团又一个旅团的番号，更重要的是，日军还出动了一个野战第1重炮旅团，而日军的一个重炮旅团，配备有100毫米至240毫米的大口径榴弹炮或加农炮70余门，常用于重点攻坚任务。当时整个国军的100毫米以上的重炮还没有70多门！日军一个重炮旅团比整个中国的二百万军队所装备的重炮数量还多，其战斗力可想而知。
在西面，日军派出了第一军香川清司的第一军，不过香川清司对寺内寿一却并不太服从，在之前的山西作战中，香川清司听从寺内寿一的命令进攻山西的中国军队结果大败，寺内寿一却把他一顿大骂，香川清司觉得自己为寺内寿一背了黑锅，心中意见很大，所以，这一次他只派出了一个第十四师团从西面进攻。
不过，为了保证十四师团完成任务，香川清司为十四师团搞出一个超级的火力配备，为第十四师团加强了独立重机枪第4、第5、第9大队，独立轻装甲车第1、第5中队，战车第2大队，独立山炮兵第1、第3联队，野战重炮兵第2旅团（重炮兵第5、第6联队），独立野战重炮兵第8联队，迫击炮第3、第5大队。