夏言的情商之低却让人大跌眼镜。他不但毫不觉得自己伤害了严嵩，反倒认为严嵩的卑躬屈膝是忠诚的表现，于是放心大胆地交出部务，后顾无忧地与政敌作斗争。
他要对付的政敌，名叫郭勋。
郭勋是开国元勋郭英的后代，袭封武定侯。此人在勋贵中是个异类，不但饱读诗书，而且善于带兵，对政治也不乏参与的热情。当年张璁和桂萼进京遭遇围剿，提供避难所和保护伞的就是这位侯爵。嘉靖建醮修仙，他也是坚定不移并且贡献甚多的支持者，因此深得皇帝的宠信和器重。
所以张璁退休后，郭勋便成为夏言的头号敌人。
下手的机会也说来就来。嘉靖二十年，皇帝下令“兼领后军都督府”的郭勋与兵部尚书一起，到全国各地清理兵籍整顿军纪。这是钦差，照例要颁发敕书，郭勋却认为这例行公事对他来说没有意义，还在辩解的奏折中说了“何必更劳赐敕”的话，结果被皇帝痛斥为“强悖无人臣礼”。
夏言立即指使监察官员狠狠地告了郭勋一状，历数此人作奸犯科的种种不法，就连陈年老账也都翻了出来。陛下更加怒不可遏，下令将郭勋关进了锦衣卫大狱。
照理说，这就没有活路了。
嘉靖却不想置郭勋于死地。他明令指示不得用刑，同时暗示内阁和三法司网开一面。夏言却装糊涂，有关部门也跟着装糊涂。结果，皇帝越是暗示从宽，要求复审，查出来的罪行就越多，拟定的刑法也越重。嘉靖无奈，借着例行考核的机会将弹劾郭勋的官员降了两级，也不管用。sup/sup
看来，那位侯爵很是不得人心。
皇帝则开始怀疑夏言做了手脚。
怀疑并非没有道理。因为根据嘉靖的情报，弹劾郭勋的监察官员与夏言的关系非同一般。这就让人警惕。夏言不是特立独行从不结党营私的吗，怎么暗中还有党羽？
皇帝的心里疑云重重，对夏言的态度也发生变化。
这次夏言也看出情况不妙了。但他仍然执迷不悟，居然请严嵩为自己出谋划策。严嵩却马上明白，夏言已经变成了失去皇帝宠信的垃圾股。因此在嘉靖二十一年六月，当陛下与他闲谈问起夏言时，严嵩倒地磕头老泪纵横。多年来所受的委屈，也在皇帝体贴关怀的催促下，一把鼻涕一把眼泪，添油加醋地和盘托出。当然，他也顺便说了别的。
嘉靖见这位六十三岁的老人被欺负成这样，不禁恶从心底起，怒向胆边生。尽管皇帝并不反对甚至乐意于看到臣僚内讧，但夏言的做法已是打狗不看主人。龙颜大怒的他颁发手敕到礼部，措辞严厉地训斥夏言。七月一日，又以日全食象征着以下犯上为由，将这位首辅打发回家吃闲饭。sup/sup
但是事情并未到此为止，因为夏言还活着。
嘉靖十五年闰十二月夏言入阁，推荐严嵩接替自己任礼部尚书，此事《明史》之《夏言传》和《严嵩传》都有记载。
以上见《明史·严嵩传》。嘉靖对严嵩的奖励是：迁吏部左侍郎，进南京礼部尚书，改吏部。
见《明史·夏言传》，同时参看《李时传》和《顾鼎臣传》。另据《明史·宰辅年表二》，夏言在嘉靖十五年闰十二月入阁，顾鼎臣在嘉靖十七年八月入阁，李时在此年十二月去世。
请参看温功义《三案始末》。
以上见《明史·夏言传》，夏言知嘉靖痛恨朋党见本传最后一段。
见《明史·严嵩传》，参看（清）赵翼《廿二史札记》引《玉堂丛语》。
见《明史·夏言传》。
以上见《明史·郭勋传》。
以上见《明史·夏言传》。