同样是在建兴四年（316），匈奴人攻陷了长安，西晋灭亡。远在建康的琅邪王司马睿即位称帝，已是势在必行。但是，司马睿是司马懿的儿子琅邪王司马伷的孙子，只好算皇室疏宗，血统不很过硬，所以登基需要更多前戏，刘琨这样的人物也就必不可少。《世说新语》中收录了这样的对话：
刘琨虽隔阂寇戎，志存本朝，谓温峤曰：“班彪识刘氏之复兴，马援知汉光之可辅。今晋祚虽衰，天命未改。吾欲立功于河北，使卿延誉于江南。子其行乎？”温曰：“峤虽不敏，才非昔人，明公以桓、文之姿，建匡立之功，岂敢辞命！”（《世说新语·言语》）
刘琨派自己的外甥温峤南下江东劝进，带去了这番豪言壮语，还带去了一百八十位北方将领联名的劝进上书。理所当然地，温峤在江东引起了“举朝属目”，司马睿也“器而喜焉”。这是司马睿变成晋元帝的过程里，必不可少的点睛之笔。
（五）祖逖的手腕
晋元帝大兴二年（319），祖逖的军队和石勒手下的将军桃豹在蓬陂坞对峙。两军驻扎在同一座大城的两个堡垒里，相持四十多天，双方都已经筋疲力尽，并且，粮食都快吃完了。
于是祖逖用布囊盛土，调集一千多人往高台上运送，就好像是运米的样子。另外，单独有几个人停在道边休息，只有他们的担子里，装的是真正的白米。
不出所料，桃豹的士兵袭击了落单者。那几担白米让他们误以为祖逖军粮充足，所以失去了战斗下去的勇气。然后，祖逖又成功劫获了对方补给上来的粮食，于是桃豹只有带人在夜幕掩护下逃走。
这可能是祖逖北伐的故事中最著名的片段，以其戏剧性而为人所津津乐道。然而这种胜利并不是关键性的，祖逖面对的形势仍然严峻且错综复杂。
被阻而不得过江的流民，当然还有豫州境内原来的居民，都在这一带建立坞堡以自守。依据形势，坞堡组织的领袖一会儿接受晋政府的册封，一会儿又依附于石勒。他们彼此之间是结盟还是攻战，也变化无常。除了石勒的后赵政权这个最大对手外，稍有不慎，这些大大小小的坞堡，也都完全可能变成敌人。
北伐刚刚开始的时候，看来祖逖并不太善于和这些坞堡主打交道。由于交际不善引发的战斗持续了几乎两年，还有一个本来倾向于东晋的坞堡主因此倒向了石勒。这时祖逖调整了策略。尽管无法确切地知道他使用了什么方法，但他确实使几股颇具实力的半割据力量愿意接受他的指挥。对于黄河南岸那些较弱小的坞堡主，祖逖则显得态度开明。由于他们往往已经把儿子送到石勒那里作为人质，所以祖逖听任他们同时归附晋赵双方，又不时派出游击部队假装抄掠他们，以向后赵方面表示他们和自己没什么交情。
这种富于人情味的做法让这些坞堡主感恩戴德，从此，他们就成了祖逖在石勒那里的眼线。情报战上的先手，使祖逖在战场上可以接连获胜，他几乎收复了黄河下游南岸的全部地区。出于慎重，石勒停止了在河南的军事活动，于是这里的生产，终于得到了一点恢复的空间。
兵荒马乱的年头，这一点点恢复足以使人感念无已。一次军民联欢的酒会上，豫州耆老把祖逖比作父亲，又把当前的形势描述为“三辰既朗”，大意即是，祖将军庇佑下的天，是明朗朗的天。
石勒开始向祖逖示好。他派人修缮了后赵境内祖逖先人的坟墓，又请求祖逖开放边境的贸易。祖逖的回应具有典型的中国式智慧，即不予回应。
但这绝不意味着祖逖不同意石勒的建议，他只是不给答复而已。没有许可证的交易结果也相当理想，“收利十倍，于是公私丰赡，士马日滋”。
应该承认，《晋书·祖逖传》中描述祖逖北伐的胜利，不无夸大的成分。祖逖去世后不到二十年，东晋一位大臣回顾他屯田的收益，结论也相当悲观。所以，此时的局势很可能是，祖逖确实取得了很大的战果，但也无力再打下去，暂时的和平与通商，对双方都是最好的选择。
宋代、明代的士大夫们，对和谈有一种条件反射似的敌意。东晋时还不至于如此，但反感一样是存在的。比如咸和八年（333），石勒遣使到建康修好，晋政府就焚烧了他的礼物。公开接受石勒的要求很可能会引起不必要的不满情绪，所以祖逖没有这样做，而宁可选择睁一只眼闭一只眼的方式。这样即使被追究起来，无非就是渎职，而对于晋政府的官员来说，恐怕很少有比渎职更普遍和微不足道的罪过了。
（六）英雄之死
刘琨对人说，祖逖是开朗通达的人，他还记得，自己这个朋友少年时代就让一代枭雄王敦赞叹。
刘琨称祖车骑为朗诣，曰：“少为王敦所叹。”（《世说新语·赏誉》）
听说祖逖被任用时，刘琨又写信给自己的亲朋故旧说：“我枕戈待旦，立志枭平逆虏，常担心祖逖抢在我的前面。”
但他没有机会跟祖逖竞争了。甚至于，刘琨没有能够看到大兴三年（320）祖逖所取得的北伐以来的最大胜利。在此前两年，刘琨已经遇害。
刘琨一直和鲜卑部落关系良好，曾在战场上多次得到他们的支持。所以失去阳曲之后，他远走幽州蓟城，投奔了鲜卑人段匹。刘琨仍然保持着他作为诗人特有的乐观，他热烈地设想着怎样在河朔地区为朝廷立功，怎样用晋元帝赠送的名刀，亲手割下刘聪、石勒的头颅。但是鲜卑部落内部从来都不是稳定的，最糟糕的是，刘琨的儿子卷入了他们的内乱。
段匹很尊敬刘琨，应该说，这个鲜卑人是一个正直的好人，然而他不是圣徒，他不能不顾虑别人利用刘琨的号召力来生事，那对他将构成致命的打击。
刘琨预感到自己非死不可，于是写下了这样的诗句：
握中有悬璧，本自荆山璆。
惟彼太公望，昔在渭滨叟。
邓生何感激，千里来相求。
白登幸曲逆，鸿门赖留侯。
重耳任五贤，小白相射钩。
苟能隆二伯，安问党与雠？
中夜抚枕叹，想与数子游。
吾衰久矣夫，何其不梦周？
谁云圣达节，知命故不忧。
宣尼悲获麟，西狩涕孔丘。
功业未及建，夕阳忽西流。
时哉不我与，去乎若云浮。
朱实陨劲风，繁英落素秋。
狭路倾华盖，骇驷摧双辀。
何意百炼刚，化为绕指柔。
诗的题目是《重赠卢谌》。后来这首诗令许多读者感动不已，尤其是最后几句更被反复传唱，然而当时它却并没有打动获赠者。卢谌诚惶诚恐地回答说：“这诗里有帝王的大志，不是做臣子的所该说的话。”卢谌是个庸人，刘琨应该也是知道的。大概是这个时候他太想找人倾诉，但却实在找不到人了吧。
反复犹豫之后，段匹终于还是动手了。刘琨是被绞死的，根据汉人要留个全尸的观念，这是一种很厚道的杀人方式。不厚道的是东晋的执政者。段匹的实力还很强大，他之所以效忠朝廷，完全是出于个人的道德感，朝廷没有任何手段可以控制得了他。所以东晋方面害怕因为纪念刘琨而得罪了段匹。最终，经研究决定，东晋的中央政府顾全大局，没有为刘琨发丧。
三年后的某个夜晚，祖逖仰望天空，他看见豫州的分野上，突然多了一颗妖异的星星。祖逖有一种不祥的预感，他说：“这是为我出现的吧。”
这一年七月，朝廷任命尚书仆射戴渊为征西将军，都督司、兖、豫、并、雍、冀六州诸军事，也就是说，他是祖逖的顶头上司。河南已经恢复，现在要有人来过江摘桃子了。
何况，戴渊是江南本地人。在北方，他没有故土，没有先人的坟茔，没有对童年的记忆，也没有失散或死难的亲人和朋友。这样的人对光复中原历来最不热衷，安排戴渊来担任上面这个职务，朝廷的政策意图，也可说是太明显了。
祖逖已经病重，糟糕的消息还在不断传来，荆州的王敦和晋政府的矛盾正在不断激化。一旦发生内乱，要对外进兵那就更不可能。当年，祖逖吓退过王敦直接干涉朝政的念头：
王大将军始欲下都处分树置，先遣参军告朝廷，讽旨时贤。祖车骑尚未镇寿春，瞋目厉声语使人曰：“卿语阿黑：何敢不逊！催摄面去，须臾不尔，我将三千兵，槊脚令上！”王闻之而止。（《世说新语·豪爽》）
大将军王敦当初想领兵到建康去，处置朝政，安插自己的亲信为官。他先派一名参军向朝廷通报，并向当时的贤达暗示自己的意图。当时车骑将军祖逖还没有去镇守寿春，也就是还在建康城里。祖逖怒视使者，厉声说：“你去告诉阿黑，怎么敢如此无礼！赶紧收起老脸回去，如果不这样的话，我带三千兵，用长矛戳他脚把他撵走！”王敦听说之后，也就放弃了这个计划。
但是现在，祖逖已经没有力气像当年那样喊着王敦的小名瞋目厉声大喝了。他的最后一点精力，只能留到营缮武牢城的壁垒上，他知道，一旦自己不在，后赵的军队就会杀来，豫州百姓平静的生活，将就此结束。
很多人都看见了那颗奇怪的星星，对朝政的不安使他们得出了同一个结论：今年西北大将当死。
九月，祖逖去世，豫州的百姓哭之如丧父母。谯、梁两地，更是为之立祠祭拜。自然，那些当年遭他劫掠的流民的冤魂，已经无人过问。
当祖逖最初冀图北伐时，晋政府只给了他一千个人的口粮，三千匹布，没有士兵，没有兵器盔甲。没有那肮脏的第一桶金，祖逖只能一事无成。他转型得非常及时，局势稍微安定，他就变成了一个勤政、廉洁而又公平的地方官员。或者不得不承认，当时那种情况下，道德上也许有人可以比他更高，但那几乎注定是空洞的崇高。但论做事情，不可能有人做得比他更好了。
有时，想到这一点，不免使人心头发堵，或者对历史产生更悲观的感想。所以，我还是宁可把下面这个场景放到文章的最后。
刘越石为胡骑所围数重，城中窘迫无计。刘始夕乘月登楼清啸，胡贼闻之，皆凄然长叹。中夜吹奏胡笳，贼皆流涕，人有怀土之切。向晓又吹，贼并起围奔走。（《艺文类聚》卷四四引《世说新语》）
晋阳城被重重包围，城中窘迫无计。于是，刘琨乘着月色，登上城楼，发出清啸，城外的人听见，都不禁凄然长叹。月过中天，刘琨吹奏胡笳，悲凉激越的音乐中，胡人骑士们开始流泪，乃至低声啜泣，每个人心头，都泛起故乡大漠的风光。等到天将黎明，刘琨再次吹起胡笳时，他们都忘了战争，纷纷拨转马头，绝尘而去。
这一段《世说新语》的佚文，为《晋书·刘琨传》征引，却没有被收入《资治通鉴》。司马温公是一个平实严谨的历史学家，大概，他不能想象会有如此传奇性的事件。
但如果这是事实，倒也并不难以解释。战争和仇恨使人变成野兽，变成杀戮机器，然而总是这样，当兽化达到顶点的时候，人也会变得无比脆弱。灵魂深处有某个点，在那里，他将一触即溃。
清啸吹笳，并不是为了退敌刻意制定的一个策略。刘琨只是累了，感到厌倦，他需要一个空旷的地方，用自己最熟悉的方式去宣泄一下情绪。他走上城楼，这时他的眼中没有敌人，也没有听众。
于是，刘琨吹奏出的旋律，就轻轻敲打在这个点上。
晨光熹微，胡骑的背影，在烟尘中渐渐隐去，刘琨缓缓放下手中的胡笳，他还沉浸在自己的状态里，没有发觉城外的变化，只觉得心里柔软到了极点。