衢州戰役在3日開始打響，負責衢州城防守的是莫與碩第86軍，第49軍暫編第13師在北界鎮；第25軍第40師在大洲鎮、石室街附近；第49軍主力在湖山鎮、溪口街、黃壇口還有衢州以西招賢鎮附近；第86軍在衢州；第26軍在衢州西北浮河村、芳村鎮一帶；第25軍在壽昌以西奪大同鎮、上方鎮一帶，攻擊衢州的日軍有第15師團沿在衢州正東麵。日軍第22、第15師團及河野旅團集結於龍遊及其以南地區。日軍第32師團攻陷壽昌後，與敵第116師團之一部連結，進出於衢江北岸的峽口、杜澤、蓮花鎮一帶。澤田茂中將第13軍戰鬥指揮所也由金華推進至龍遊。
    國府選擇贛東殲敵的方案，但又不甘心放棄衢州殲敵的機會，因此衢州也做了殲敵的安排。但事到臨頭了，國府又膽慟了。日軍來的太多，第3戰區沒有把握，況且王耀五的第74軍還在贛東，國府臨時改變了抉策：為了避免我主力部隊作不必要的損耗，蓄積力量，待機捕捉戰機，重創敵人。遂命令第三戰區避免與敵在衢州附近決戰。第三戰區接到命令後，即變更部署，下令第86軍仍繼續守備衢州，吸引敵人，戰區主力則撤離鐵路正麵至兩側山地，準備在敵沿鐵路突進時，出其不意，分斷截擊。
    李振華要是知道這樣的安排，都要噴出一口老血，早知如此，還不如多在贛東集結更多的兵力打擊日軍第11軍，整個作戰計劃弄成了四不像。
    3日拂曉，日軍第32師團、第116師團在衢江以北，河野旅團、第15師團、第22師團在衢江以南對衢州發起全線攻擊。
    衢江以南守軍第一線的第58師、第40師及第67師分別與日軍第22師團、第15師團及河野旅團激戰一天，第58師撤至黃壇口一帶，第40師及第67師先後撤至烏溪江西岸防守。至傍晚時，日軍各部隊均進至烏溪江東岸，其第15師團一部突進至烏溪江西岸，迫使第40師再退至棠埭塢。
    衢江以北守軍第16師茂塢、孔家山等處陣地全被日軍第32師團攻占，部隊大部潰散及傷亡，師長曹振鐸率殘部退入衢州城。
    日軍第32師團一部進抵距衢州城北龔家埠一帶。第86軍軍長莫與碩見形勢嚴峻，竟以收容第16師潰散部隊為借口擅離職守，帶著軍直屬部隊向江山方向逃離。好在副軍長陳頤鼎及時接替了指揮，衢州防守戰鬥中國軍才沒有崩潰。
    日軍第15師團、第22師團、河野旅團，強渡烏溪江，國軍第67師奮起反擊，但實力相差太大，日軍於4日晚全部渡過烏溪江。
    第40師在日軍第15師團一部攻擊下，退至江山港北岸，改歸第49軍指揮；第105師與日軍第32師團激戰後，撤至常山港南岸招賢附近防守。5日，日軍第15師團在航空兵掩護下，集中兵力猛攻衢州南郊陣地，激戰至午後，突破落馬橋陣地，守軍第67師退守衢州南關；日軍第22師團進至江山港南岸。日軍第32師團當日攻占並進至常山港以南地區。河野旅團攻占衢州飛機場及航空學校。
    此時，衢州城已處於四麵包圍之中。第15師團主力從鐵路附近猛攻南門及南城牆，衢州城內守軍因通信器材已全被日軍的飛機、大炮所擊毀，與戰區及集團軍均失去聯係，仍依托城防工事繼續苦戰。
    血戰至晚，日軍第15師團攻占大南門及小南門，河野旅團攻占東北門、北門及西北角城牆。船民齊大年從衢江泅水進入城中，帶來守軍向楓林港突圍的指示。副軍長兼第67師師長陳頤鼎與第16師師長曹振鐸商議後，以第46團第2營擔任掩護，利用夜暗天雨突圍西撤。
    第46團第2營官兵在團長謝士炎的指揮下，拚死掩護主力撤退。已經占領了城門及城牆的日軍始終未敢進入城內，亦未能阻止住國軍的突圍。激戰至7日拂曉，完成任務後謝士炎團長率領第2營殘部100餘人從城東門突圍，至此衢州完全淪陷。
    日軍占領衢州後稍事休整，第22、第15、第32師團繼續沿浙贛鐵路線西進，相繼攻陷江山、玉山、廣豐，14日占領上饒。
    浙贛線東段，日軍第43師團擊潰國軍75師第223團，於3日拂曉占領進賢。第3師團主力6000餘人從沙埠潭附近渡過沙埠潭河，在撫河及沙埠河之間南下，2日拂曉進至三江口附近，渡過撫河沿東岸南進，於3日下午臨川以北的雲山。
    今井支隊及井手支隊從萬舍街附近並列南下，擊退當麵的保安第1團和第9團後分別到達集賢峰及三江口，3日下午其發頭部隊在臨川以西的展坪以北高地遭到79軍暫6師伏擊，今井支隊主力趕來增援，日軍汽艇數十艘則在撫河上空及水麵掩護，遭到在幹港撫河交匯口98師炮兵的炮擊。經激戰後，暫6師阻住日軍的進攻，雙方相峙於展坪附近。
    79軍第98師則依托撫河、幹港防守臨川城，城中大部分百姓已被組織前往黎川，隻留下部分青壯協助守城。第3師團主力開始攻擊臨川東城，幹港浮橋已被拆除，日軍隻能涉水攻擊。98師將士在幹港岸邊既設陣地上射殺日軍，第3師團損失不小。
    日軍第11軍阿南惟幾得知79軍進入贛東後，立即命令進賢的第43師團主力沿撫河南下，準備圍殲國軍第79師，以3個步兵大隊組成的岩永支隊繼續沿浙贛路向東進攻。暫6師、第98師在臨川抵抗了5天，國軍空軍5架b25轟炸機也過臨川參戰，轟炸了進攻的日軍部隊，造成日軍大量傷亡。如今見鬼子大隊援軍已到，攻勢異常洶猛，消耗日軍力量已經達到，暫6師放棄展坪，交替掩護退往臨川城西秋溪，準備沿宜黃水方向方向撤退。第98師經東館撤至騰橋以南山地布防，準備沿撫河向南城撤退。
    9號日軍完全占領臨川縣城，對臨川進行了係統性的燒殺搶掠，50多名沒有逃離的百姓被繩子捆住手腳，從行易橋上扔下撫河淹死，徐家村136人被機槍射殺。其他各地還有類似的慘劇發生。日軍火燒縣城，焚毀了大量的建築。