当刘整孜孜于攻略襄阳及大建水军时，南宋京湖（荆襄）战区正掌控于吕文德及其家族手中。
吕文德从军前的经历很是传奇。据《宋季三朝纪要》，吕文德早年本是樵夫，以魁梧勇悍闻名。一次进城卖柴时，吕文德不慎将鞋遗落在路边，被边帅赵葵发现。赵葵惊叹于鞋的尺码之大，便派人去寻访鞋主。时值吕文德打猎携一虎一鹿归来，面见赵葵后，便被留在军中效力。
尽管还有一种说法是吕文德本是淮南土豪，投于赵葵军中，但无论哪种说法，吕文德本是平民，从军起于赵葵帐下是无疑的。从军后，吕文德很可能追随赵葵参与了端平入洛，该军事行动虽惨败，但他就此以一刀一枪，崛起于宋蒙战场。
可以说，在投效贾似道之前，吕文德已是一方名将。特别是在开庆元年（1259年）的抵御蒙哥南征之役中，吕文德先授命援蜀，继而援鄂，大有继“军神”孟珙后宋军第一精锐之气象。鄂州解围后，据《宋史全文》记载，宋廷下诏：“吕文德援蜀之赏未足酬功，今援鄂之勋犹为显著，特赐百万，良田万顷。”
战后，宋廷论功行赏，吕文德以援蜀、援鄂两次军功被列为军中第一。《宋史·贾似道传》认为，这是出于贾似道的偏袒。但也有论者认为，在开庆元年（1259年）以前，贾似道还未成为权相——在援蜀之战时，他甚至还未拜相，其权力还达不到可以随意赏罚大将的程度，“（吕）文德功劳排在第一，完全是应当的”。
公允地说，吕文德此役之军功，至少可以排第二，仅次于重挫蒙哥亲军、间接导致蒙哥病亡的钓鱼城守将王坚。
自景定元年（1260年）至咸淳五年（1269年）十二月病故前，共十年间，吕文德一直任京湖制置使，率军驻防荆襄一线。
也就是在这十年间，南宋形成了一个以吕文德为首的庞大军事集团，如吕文德的兄弟辈吕文焕、吕文信、吕文福，子侄辈的吕师孟、吕师夔，女婿范文虎，旧部夏贵等人，皆为南宋军政要员，被后世称为“吕氏军事集团”。南宋大学者黄震在《古今纪要逸编》一书中写道：“沿边数千里，皆归其控制，所在将佐列戍，皆俾其亲戚私人。”《宋史·兵志》对吕氏军事集团的批评则更为露骨：“至咸淳中，大将若吕文德、夏贵、孙虎臣、范文虎辈，矜功怙宠，慢上残下，行伍功赏，视为己物，私其族姻故旧，俾战士身膏于草莽，而奸人坐窃其勋爵矣。”
在重文抑武的南宋，吕氏军事集团为何能积厚成势，直至成为两宋历史上最大的军事集团？
最主要的原因还是贾似道的庇护。鄂州之战后，吕文德渐而成为贾似道亲信，甚至可被视作贾似道在军中的代理人。吕氏军事集团的屹立不倒有赖于两个彼此缠绕的条件：贾似道赢得了从宋理宗到宋度宗的无条件倚重，而吕文德又获得了贾似道全心全意的信任。
吕文德及吕氏军事集团的善战则是另一个原因。贾似道之所以重用吕文德，固然是因为吕氏的忠诚，但也在于其有能力成为自己执政的军事支柱。
在某种程度上，吕氏军事集团实为贾氏军事集团。
吕文德是当时南宋最卓越的军事统帅之一，名重当时，被刘克庄评价为“自奋于兵间，周旋三边，大小百战”，刘整降蒙后也曾谓“南人唯恃一黑灰团”，“黑灰团”即吕文德绰号；而吕氏军事集团的吕文信、夏贵等人也都称得上名将。
尤其是吕文德之弟（另一说为堂弟）吕文焕，追随吕文德多年，襄阳保卫战时已为襄阳最高军事长官（知襄阳府兼京西安抚副使），深得宋理宗器重，“传授六韬而起家，间关万里而赴授。朕拊髀思名将，一扫兵氛；尔束发战匈奴，屡腾凯奏”。
吕文焕无疑是吕氏军事集团的二号人物。
吕文德守襄十年，修筑数座城池，加固京湖防线，并于景定三年（蒙古中统三年，1262年）自刘整手中收复了泸州，也可谓兢兢业业了。
在私德上，吕文德因为贪墨备受攻讦，时人形容吕家“宝货充栋，宇产遍江淮，富亦极矣”，甚至有人说，与吕文德家族的财产相比，“石崇又何足数也？”宋人笔记还指控吕文德贪污军饷，朝廷定额京湖战区三十万兵力，吕文德竟裁至七万人，以便于吃空饷。
虽有不少渲染之处，但吕文德贪墨当无争议。不过这在南宋边帅中也算是普遍现象，否则贾似道也不会强行推动打算法反贪。
除贪墨以外，吕文德在守襄期间还犯下了一个贻害无穷的决策性失误：允许蒙古人在襄阳城外修建通商互市的榷场。
蒙古中统四年（南宋景定四年，1263年）七月，刘整向忽必烈献计：利诱吕文德，换取襄阳城外置榷场，以掩护军事蚕食。据《宋季三朝政要》，蒙古人最初向吕文德献上一条玉带，得到了置榷场的允准；蒙古使者得寸进尺，借口“南人无信，安丰等处榷场，每为盗所掠”，进而要求筑土墙以护货物，吕文德起初拒绝了，但有人向他建议，“榷场成，我之利也，且可因以通和好”，文德“遂许焉”，蒙军因此“筑土墙于鹿门山，外通互市，内筑堡”，建立了进图襄樊的第一个据点：鹿门堡。
“由是敌有所守，以遏南北之援，时出兵哨掠襄、樊城外，兵威益炽。”身在襄阳前线的吕文焕发现事情不对，数次写信警示身在鄂州的哥哥，吕文德一开始不以为然，还有种说法是信件被吕文德身边的亲信扣下，总之等吕文德知道时，鹿门堡已初具规模。
失误归失误，但说吕文德为了一条玉带就允许蒙古建榷场，可能是言过其实了，吕文德富可敌国，又怎会为了区区一条玉带，就置襄阳与南宋安危于不顾？此种道德化视角，似乎将所有的政治军事失败都归因于忠奸叙事，反倒掩盖了南宋在做出真实政治决策时的短视、自大与信息不对称，也将蒙古的深图远虑、步步为营简单化为贿赂一途。
从一开始，蒙古人在襄阳的作战计划就是筑垒战。