至元四年（南宋咸淳三年，1267年）秋，襄阳之战正式开打。在前哨战安阳滩之战中，蒙古水军居于劣势，一度连主帅阿术都险些被俘于汉水渡口，最终通过苦战才击败宋军。此战更加坚定了蒙古人攻襄的两大基本战法：筑城围困，加强水军。
到至元五年（南宋咸淳四年，1268年）九月，阿术和刘整继襄阳东南的鹿门堡后，又筑堡于襄阳东北的白河口。白河堡与鹿门堡于次年初建成后，基本切断了襄、樊南北向的陆路交通。
还有水路。在扩建水军的同时，蒙军又于汉水中流筑起高台，上设弩炮，以配合水军作战，削弱南宋的水军优势。
吕文焕惊惧于深陷重围，即刻派人告急于吕文德。吕文德闻讯后，不仅没有立时出兵解围，反倒以为是吕文焕夸大其词，意图邀功，怒斥信使说：“你不要妄言邀功请赏。就算真筑城了，也必定是假城。襄樊城池坚深，兵储可支用十年，你去转告吕六（吕文焕排行第六），令其坚守。如果刘整真的敢妄筑城寨，待来年春天江水上涨时，我将亲率水师一举荡平。就怕我到的时候，他们早跑了。”
吕文德狂妄轻敌如此，也难怪蒙古人得以在襄阳城外有条不紊地筑堡，渐成气候。
不过，吕文德的军事乐观主义也事出有因：襄、樊的坚如磐石，实力曾远超蒙古的水师，可破重围的舟师水路赴援战术，这三者共同强化了吕文德的傲睨自若。
吕文德低估了蒙古水军的造舰军备竞赛，更低估了忽必烈以倾国之力打造水军乃至攻克襄阳的不拔之志。
吕文德轻敌背后，可能也有贾似道的因素。如前所述，贾似道更为迷信鄂州的战略重要性，而相对忽视襄、樊之战略地位。
吕文焕见援军未至，只得率领襄、樊守军屡次主动出击，以打破日趋收紧的包围圈。但一来，蒙古人有骑兵的野战优势；二来，蒙古人的防线有坚固的筑堡做支撑，吕文焕苦战未果，反损兵折将。很显然，仅靠襄、樊孤军的自身力量，击破重围已基本无望。
更何况，蒙古的围城大军蜂拥而至。至元六年（南宋咸淳五年，1269年）二月，史天泽奉命率新签发的两万民兵增援襄阳，于襄阳城外修筑一条长达数十里的堑壕栅壁，并在城南一带构建一字城，连亘诸垒，贮存粮饷。
襄樊之围，逐渐成为南宋的紧箍咒。
为阻碍宋军增援襄、樊，蒙军不断派遣偏师袭扰京湖诸州县，阿术于至元六年（1269年）初亲自率军深入荆襄，俘万人而还，削弱了襄阳外围州郡的宋军实力。
忽必烈甚至策划过自海上奇袭南宋腹地，于至元五年（1268年）专门派人至高丽视察攻宋最为便捷的海岛，但可能由于蒙古对海上航行及作战全无经验，不得不取消计划。
巧合的是，同在襄阳之战期间，南宋也萌生过海上攻蒙的计划。学者金履祥在野不敢忘忧国，献策以重兵由海道直趋燕蓟，“则襄樊之师，将不攻而自解”。这也并非纸上谈兵，金履祥“且备叙海舶所经，凡州郡县邑，下至巨洋别坞，难易远近，历历可据以行”，但宋廷将此策束之高阁。
吕文德虽严重贻误战机，但还是基本履行了“春水至，吾往取之”的承诺，开春后，咸淳五年（1269年）三月，他如期派出援军。不过，吕文德并没有亲自率军来援，而是任命日后大放异彩的张世杰为京湖都统，率马步舟师驰援。
张世杰与蒙军战于赤滩圃（今襄阳东南汉江上）。此战胜负未明，《宋史纪事本末》的口径是“败绩”，而《宋史·度宗本纪》则有是年四月“赏张世杰战功”的记载。宋军战术上或有小胜，但有一点是肯定的，张世杰并未冲破蒙军防线，抵达襄樊城下。
初战不利，吕文德决意放手一搏。七月，吕氏军事集团核心成员、沿江制置副使夏贵率水军五万、战船三千艘，乘秋雨水涨，送粮援襄。宋蒙水军在汉水相持数日后，阿术突出奇兵，水陆夹攻大败夏贵，宋军战死或溺死者达两千余人，战船被俘五十余艘。
这年早些时候，夏贵所部曾驾轻舟运粮至襄阳。因担心蒙军掩袭，夏贵未入城，仅在城下与吕文焕“交语而还”，更未与蒙军交战。
可能就是夏贵的惨败，最终摧毁了吕文德的心理防线。
咸淳五年（蒙古至元六年，1269年）十二月，在襄阳被围的计无所出中，吕文德因毒疮发于背部而卒。去世前还对轻许蒙古置榷场耿耿于怀，每每长叹：“误国家者，我也！”
平心而论，以蒙古骑兵的野战优势而言，如果真的意欲在襄阳城外强行筑城，恐怕也不是宋军轻易可以阻止的，吕文德这一失误可能只是让蒙古人的筑城图谋更顺利、更快达成罢了。
吕文德发迹于抗蒙战场，从军临边四十年，百战余生，大节无让，说是孟珙后南宋抗蒙的中流砥柱也不过誉。但党同伐异、逼反刘整，放任蒙古人在襄阳城外建榷场、筑坚垒，的确是他无法抹去的误国之过。至于投效贾似道，贪墨自肥，此类私德有亏倒显得无关宏旨了。