呂文德遂行穩守反擊之策，其當麵之敵是兀良合台，此人是個老韃子，指揮能力爐火純青，打仗向來穩妥，但他為了及早接應忽必烈而采取攻勢，導致軍力大損。以蒙古親王之尊，如果忽必烈不幸，則相幹人等必招嚴懲，絕不輕饒！因此兀良合台不管不顧地揮軍猛攻，其簽軍、漢軍折損得七七八八，已無力進攻。呂文德知曉兀良合台的情況，又聽聞側翼的高達部向韃軍宗王拔綽展開反攻，接連得手，一時間呂文德不合起了爭勝之心。他對堂弟呂文煥道：“高玉甫是吾等晚輩，且地位低於吾輩，若其建功，吾輩豈有麵子乎！”呂文德打算改弦易轍，呂家軍轉入全麵進攻，打敗兀良合台。呂文煥乃呂家軍中扮演手執白紙扇的軍師角色，他是一個智者，認為不妥，不同意向兀良合台開戰，理由是目前我軍占優，就這樣打下去，韃子沒有了補充，日暮途窮，其軍自敗也。他頭腦清醒，堅決反對出戰，奈何呂文德牛心，在他看來，大宋東有呂家軍，西有孟家軍，兩軍齊名，乃大宋的架海紫金梁，撐天白玉柱！今孟之祥在四川建功，大破韃子，呂家軍豈能落後？如若高達勝出，豈不是新崛起一個高家軍，要知道高家軍乃是粗粗組建的部隊，他們都能打敗韃子，豈不是讓朝廷和世人看輕了呂家軍？加上呂文德其餘的弟弟、子侄與部將們同聲附和，他們一直不能暢意殺敵，嘴裏早就淡出了鳥來，隻想打個痛快。呂文煥反對無效，呂家軍轉入反攻，他們離開了深溝厚壘的大營，向著韃子殺去。聽聞宋軍出動，兀良合台精神一振！如果宋軍一直不出動，兀良合台就是老虎拉龜，無處下手。宋軍一出動，兀良合台即時後撤，於路丟棄營盤、物資和旗幟，表現出力不能敵之勢。他這樣誘敵深入的計謀，呂文煥一眼識穿，馬上來勸呂文德見好就收，穩紮穩打為上。無奈呂文德被豬油蒙了心，認為：“縱使韃軍有埋伏，其兵微將寡，何足道哉！吾輩勇猛，常山不必多慮，看小兒輩手段即可！”他以子侄輩的呂師夔、呂師龍、呂師道、呂師孟、呂師望五人率軍八千為前驅，他領兵三萬接應，讓他們發揮出初生牛犢不怕虎的精神，力迫老韃子兀良合台。兀良合台則投其所後，於路撤退，然後糾集真韃軍隊八千，兀良合台親自帶隊，暴起反擊！他對諸軍道：“世人皆說我老，諸君隨我，破南蠻就在今日，讓他們見識大朝威風，看我老是不老！”眾韃齊曰：“喏！”於是奮勇向前。五呂與韃子甫一接戰，立即就發現不對頭了。韃子極為勇猛，悍不畏死，一邊倒殺得宋軍死傷極多！五呂雖然極力招架，奈何韃子暴發出驚人的戰鬥力，如虎似狼，將宋軍打得大敗！呂師夔見勢不妙，第一個腳底抹油，先逃為敬。呂師道、呂師孟跟著逃，呂師龍不忿，上前欲與兀良合台交戰，兀良合台須發俱白，衝著呂師龍大喝一聲：“呔！”嚇得師龍心膽俱裂，掉轉馬頭，可恥地逃開，竟不敢交戰。而呂師望遇著韃將唆都大戰十餘合，被打落馬下，其牙兵死戰，才將呂師望救回。唆都全名為劄剌亦兒·唆都，年輕小輩，頗有勇武，初任蒙古藩王忽必烈的怯薛，從征大理國，這次忽必烈到兀良合台軍中議事時，留下了唆都，讓他負起監視兀良合台之責。見兀良合台並無背叛忽必烈之心，唆都遂申請出戰，敗呂師望。兀良合台輕破五呂，率軍突擊呂文德本部兵馬，勢如排山倒海，呂部竟不能敵，被壓著來打，縱使軍多，也派不上用場。此戰韃子打得蕩氣回腸，向世人露出了鋒利的獠牙，盡顯蒙古橫掃天下的威風！韃子箭發如風，刀揮如電，一路衝鋒陷陣，宋軍中令人引以為豪的呂家軍表現極為不堪，部將呂萬利，呂萬洪是兩兄弟，乃呂文德的遠房親戚，在此戰中戰死，另一個親戚呂錫偉則被韃子砍了腦袋，同鄉陳建良、袁鵬舉死於亂軍中，有名有姓的部將也有十餘員陣亡於此戰。周圍各軍都被打敗打散了，呂文德被韃子圍著，左衝右突殺不出重圍，周圍韃軍圍攏過來，隻急得他一身冷汗。正在這叫天不應叫地不靈的危急時分，突然一軍殺到，乃女婿範文虎前來接應。範文虎，若在平行空間時降元，以日本行省右丞領兵十萬隨忽必烈第二次征倭島，可惜事情不諧，否則倭島有可能是中華的東瀛省了。此時他當然是忠於大宋的，他奮力作戰，殺開一條血路，保著呂文德離開韃子的包圍圈，逃之夭夭。呂文德逃跑，路遇呂文煥，用繃帶包著右手，驚問其故，原來呂文煥右臂中箭，連忙包紮。據郎中所言，呂文煥這條手臂傷及筋骨，即使好了之後，也會轉動不靈，影響使用。“是吾故也！”呂文德痛苦地搖頭，後悔不迭，若聽了六弟之言，何致於我軍有如此大損也！他回營後把氣出在兒子們身上，痛罵他們道：“人說女婿是半子，若不得半子來救，吾不能見爾等一子矣！”諸呂聞言後無不羞愧！呂文德三萬八千人被打敗，損失大半兵力，還造成連鎖反應。兀良合台老爾彌辣，破呂部後馬不停蹄，轉向急襲高達軍後方的銅山！銅山是高達軍軍糧所在，向來防禦森嚴，但沒想到來自韃軍的側擊，結果銅山失守，造成曹操破袁紹烏巢的後果。看到後方濃煙滾滾，知道軍糧地所在，高達軍的軍心大亂。韃子宗王拔綽得知消息，與兀良合台合擊高達。高達軍實際上是支組建不久的新軍，雖有一定的作戰能力，但韌性不足，受到韃軍前後夾擊，顯然超出了他們的應付能力範圍，結果高達軍大敗。他損失了大半兵力，營壘與物資盡棄，與呂文德殊途同歸，一路向東敗逃，兩人合兵一處，勉強在旌德、績溪和千島湖一線停住腳步駐紮下來，此時韃軍距離杭州城二百裏。一時韃軍形勢大好，呈西麵與北麵兩路夾擊臨安之勢！