两军分别以一部迟滞抵抗，在4日顺序退入主阵地。意图以暖水街为中心，阻止日军攻势，以待战区重兵来援。
11月3日，沿江全线转入激战，自右而左，第73军于澧县，第44军于东港，第79军于街河市都发现日军主力部队。
日军规模之大，远出战区预料。孙连仲司令长官在研判湘西方面军情后，认为敌主力似乎已经表明指向常德，乃于4日晚间电令自第九战区开来的第74军开往桃源，作为第10集团军之后卫，同时该军已在常德附近构筑工事的第57师立即进入常德占领阵地。
但是孙长官对日军主攻方向仍无信心，鄂西会战前期，日军也在这个地区大举肆虐，意图造成以此地为主攻地区的假象，最后还是指向石牌。
孙长官是陪都大门的巩卫军，自然不敢轻举妄动，所以仍然电令江防军吴奇伟总司令固守阵地，慎防来敌，对于战区预备队第26集团军与第33集团军，孙长官迟迟不愿过早调往湘西，仍训令两集团军待命策应江防军作战。
第10集团军过早反攻11月4日，第一线兵团各部均开始依战区命令转移主力至主阵地，此时战局发生戏剧性的变化。
据日军战史记载，第13师团作战参谋樱井中佐被国军击毙，这个参谋随身携带有这次攻势之重要命令，以及该师团战后将调往马里亚纳群岛的相关资料。
第13师团司令部像炸锅似的一团大乱，侦骑四出，务要将尸体文件抢回。
虽然日军战史称该批文件
“无损收回”，但国军显然已经从中得到重要情报。5日孙连仲长官电令调整战区布署，开始调动江防军南下应援。
在这五日的战斗中，国军主力己整齐转进主阵地，并迫使敌暴露其主力所在。
但日军四路大军完全渡过长江，投入战场之后，战局因兵力悬殊，立即转入不利态势。
11月7日，第一线兵团两个集团军已在王家畈，暖水街，红庙一线形成一整然防线，以第74军为主的第二线兵团则仍在运动中，抢占后方桃源等要点。
日军渡江集结完毕后，以第3、13、39、68师团主力及协攻之第40、58师团部分部队（联队级支队）向国军展开全线进攻，战局立变。
第44军于南县、津市一带接敌，日军第39师团兵分多路，第44军被迫展开阵线，点点堵漏，至5日第44军已展开百余华里，犯下兵家大忌。
7日上午正当第一线之第79军暂6师己因伤亡惨重而撤退，王敬久总司令电令前线各部奋勇逆袭，恢复阵地，均未奏功。
战况危急。暂6师在街河市与敌激战四日后，退入第10集团军主阵地的中枢——暖水街。
第79军的第98师与第194师努力抗击当面之敌，第199师则于暖水街侧翼机动邀击日军。
第79军已形成以暖水街为核心的防御态势。第29集团军的失利正当第10集团军全线激战，殊死搏斗之际，第29集团军却正踏入杀阵。
在第3师团渡江全力进犯后，第116师团亦以一部水面机动，在滨湖区点点突破。
第44军多面受敌，当面已无阵线可言。第29集团军在日军调转主攻方向后，转入守势，但因部队原先已与日军纠缠交错，所以在日军骤然加强兵力后的进攻下立遭突破。
孙长官赶紧电令第29集团军暂时放弃滨湖区，撤守石门至澧县间之澧水防线。
王缵绪总司令布署集团军向澧水方面转进集结，以第44军驻守澧县及各渡口，第73军主力据守石门，11月13日，王缵绪总司令以第44军久战疲乏，乃扩张解释孙长官先前相机撤退的命令，率领其嫡系第44军部撤过澧水。
但是非其嫡系的第73军仍坚守石门与敌酣战，局势危急。汪之斌军长匆匆率部撤到石门后，大吃一惊。
这个湘西防务的中枢，居然没有象样的防御工事，军委会电令中的
“国防工事”，只是一条20公里多的散兵壕。而此时第44军逃过澧水，更使石门侧翼依托尽失，成为无险可的绝境。
汪之斌军长只好抢挖野战工事，背对澧水急忙布防，作无望之斗。以暂5师坚守石门，第77师与第15师则在外围展开，阻击野战。
日军以两个完整师团集中于石门一隅上，第73军抵挡不住，被日军打得千疮百孔，14日，日军对石门发动总攻，除正面强攻外，并以一部经原第44军原防线越过澧水，抄绝第73军退路，石门右翼被突破，战况危急。
此时军委会慌了手脚，军令部次长刘裴反而越过第六战区，电告王缵绪总司令，准许第73军突围。
14日晚间，汪之斌军长率部开始渡过澧水撤出石门，留下暂5师死据石门，掩护全军渡河，但此时日军已经绕攻到石门后方，所以第73军在涉水突围时遭到日军截击，一片混乱，建制全散，两个师均失去掌握，各自夺路突围。
汪军长率军部退往慈利，收容部队。15日黄昏，暂编第5师最后撤出石门，日军已在澧水对岸严阵以待。
暂5师在渡河时立遭围攻，师部被截击，部队大乱，彭士量师长亲自指挥残部，奋力冲突，在南岩门口被敌机扫射命中，壮烈殉职。
暂5师在撤退中伤亡殆尽。石门方面的作战失利，其实只要第六战区能贯澈原订作战方