攻占襄阳后，元朝内部的主流意见是：即刻浮汉入江，直趋临安灭宋。
作为“先攻襄阳”的首倡者，刘整就主张一鼓作气：
襄阳破，则临安摇矣。若将所练水军，乘胜长驱，长江必皆非宋所有。
但也有一种声音认为，大元国力在六年襄阳鏖战中的损耗不可估量，且北边未靖，应暂缓灭宋，休养生息。这派人数虽然不多，但有许衡等重臣在内。
还不单是海都之乱，此时忽必烈也在积极备战征伐日本中，为此还专门成立了征东都元帅府。至元十一年（1274年）十月初三清晨，元朝东征军自高丽南部的合浦港出师，总兵力达32300人，大小舰船九百艘，据说其中还有吕文焕的襄阳降军。《元史·王磬传》记载，大臣王磬当时还建言忽必烈：“今方伐宋，当用吾全力，庶可一举取之。若复分力东夷，恐旷日持久，功卒难成。俟宋灭，徐图之未晚也。”
灭宋兹事体大，忽必烈没有仓促决断。《元史·世祖本纪》记载，直到破襄阳的第二年年初，即至元十一年（南宋咸淳十年，1274年）正月，阿里海牙上书：“荆襄自古用武之地，汉水上流已为我有，顺流长驱，宋必可平。”阿术又添了一把火：“臣略地江淮，备见宋兵弱于往昔，今不取之，时不能再。”
针对两位前敌大帅的速攻论，据说当时元廷争执不下，久不能决，可能正是阿术的一句话帮忽必烈下了最后决心：
今圣主临御，释乱朝不取，臣恐后日又难于今日。
灭宋之议既定，接下来就是择帅的问题了。
忽必烈问计于史天泽和姚枢，得到了两位人选：安童和伯颜。
伯颜长于西域，至元初年奉旭烈兀大王之命入朝奏事，忽必烈“见其貌伟，听其言厉”，将他留在蒙古为官，三十岁时便升其为丞相。据《元史·伯颜传》，朝中有大小难决之事，伯颜“徐以一二语决之”，被诸臣赞为“真宰辅也”。忽必烈将安童的妹妹嫁于伯颜，还放话，“做伯颜的妻子，不会辱没你的姓氏”。
与早早成名的伯颜相比，安童更是匪夷所思地年轻。安童的家世远比伯颜显赫，父亲是忽必烈倚重有加的木华黎之孙霸突鲁，母亲是察必皇后之姊。至元二年（1265年），年仅十八岁的安童拜相，征宋时也不过二十六岁。
据《元史·安童传》，安童拜相时，也曾以自己过于年轻推辞：“南宋尚据江南，如以臣为宰相，恐贻笑各方，使宋人轻视我们。”忽必烈坚持说：“我已考虑得很清楚了，没人比你更适合，不要推辞了。”
忽必烈最终挑中伯颜，可能与伯颜有征宋经验相关，但应与安童年少无关。很快安童就被派往漠北，主持与海都的战事。忽必烈的遣帅思路很清晰：安童在北，伯颜在南。
忽必烈为伯颜配备的副帅组合也极为精悍——阿术、阿里海牙，两人在襄阳一役中举足轻重，一为征襄主帅，一总领汉军。
团队组建完成后，再加上辅助伯颜总领全军的史天泽，忽必烈将四人悉数纳入中枢，可见此时灭宋已是元朝政治的绝对重心：伯颜与史天泽并立为左丞相，阿术为平章政事，阿里海牙为右丞相。
最后一个问题是征兵。尽管元朝自称“方将百万之众南伐”，但显然这就是个用来恫吓南宋的虚数。
阿术与阿里海牙被任命为征宋副帅后，建言“旧军不足，非益兵十万不可”，忽必烈下诏中书省签军十万人。考虑到蒙古征襄的总兵力在十万人左右，伯颜所率南征军队达到了二十万人，“如果把川蜀和淮西的元军计算进去，估计总数会在三十万以上”。
在水军方面，从至元十年（1273年）三月到至元十一年（1274年）六月伐宋前夕，元军至少五次造船或招募编练水军，仅在至元十年（1273年）三月，刘整就建议训练水军五六万，造战船两千艘，忽必烈从之。