李白出蜀的真正原因，一直是个秘密。终其一生，尽有无数胸臆之语可向天下人敞说，略无遮掩；唯独在突然之间抛弃了一切，仗剑辞乡，去不复顾，似乎全无根由——那是吴指南从故宅赶了一匹五花马来的当日，赵蕤于一箭之外影影绰绰看见了，想起七年以前与李客熝牛头夜话的那回，的确好像见过这马一回——它原本身色棕红、鬃色碧绿，蹄色乌黑、额色雪白，体躯肥大，却弹步轻盈。它应李客的呼啸而来，片刻飞奔十余里，伫立着守候李客，还不时流露出顽皮不驯的小驹之性。
于兹七年之后，这马益见壮硕，鬃毛也变得鬈曲深密，依然背无鞍鞯，口无衔辔，性情却沉着稳适得多。吴指南引马就路旁随手一指，那马也乖顺，便于指处站定，偶尔趁风动摇几下尾巴，别有一份意态自如的从容老练。
吴指南并非无端而来。除了马，还有一肩行李。他把行李也齐整地堆置于道旁，仔细看了看阴蒙昏灰的天色，指沫风干，想想一时之间，或恐还不至于落雨，才三步并两步跑来，呼叫着“神仙”、“李十二”。
很难说李客是由于难题棘手而诚心求助，或者是他想借机验看李白究竟能否成材？总之，吴指南带来了让李白措手不及的消息——大明寺僧慈元忽然死了。
有一个到处流传，可是言者人人惶怖不安、宁可信其无的谣言，说慈元是“代死”；其所代者，便是绵州刺史李颙。
李颙自从上表举荐，而赵蕤、李白师徒“不就”之后，不但不沮丧懊恼，反而松了一口气，省操一份心；自然也愈益敬重这“赵征君”了。根据他自己散存的几首记事之诗所载，就在李白去来成都、峨眉千里之行的一两年间，他至少两度造访赵蕤，至则“通宵谈饮，缀诗不歇，极尽欢噱”。
忽一日，刺史心念偶动，随手扔下公事，就要微服易马，前往大匡山找赵蕤作诗去，衙中别驾、司马苦劝而不止，料是天意得知，忽而从乌何有之乡闯来一人，名叫张夜叉。这张夜叉披头散发，肩立鹦鹉，狂歌终日不息，这一日偏就横身卧在刺史马前，像是醉倒了，又像是疯魔了，满口滥说胡话，招来更多闲人围聚，刺史就更出不了署门外大街了。可是，人们不大敢驱赶张夜叉的道理也很实在：他不胡说则已，一旦说了，语便成真。
这一天，张夜叉说的是：“太守向是风雅人，尽说风雅话，张夜叉给太守送行，就学太守说四句吧？——太守莫出门，出门死太守。山留一世青，家有无涯寿。”
李颙留心民事，早闻听人说张夜叉有前知之能，听见这话也的确有些悚然。然而继之一转念：某身为一州之牧，位列诸侯，不能够禁绝邪神淫祠之属，已经俱现柔懦了，如今教这无赖汉子挡马即止，日后还能有什么颜面、有什么清望？想着，扬手一鞭，马蹄便向张夜叉踏了去，一踏扑起了一阵黄埃灰土，空中只一鹦鹉盘旋数匝，嘎鸣而去。
此后之事，俱在李颙诗自注之中。这首诗的题目是《匡山夜吟继赴大明寺有怀寄赵征君》，主旨乃是借由西晋时张翰忽然弃官的故事，来隐喻自己逃脱公职、作一日游的心境。
秋风召我入匡庐，系马鞯缨缀酒壶。隐约浮词与君共，微闻高鸟向人呼。去来归意分明在，多少名心逐渐枯。十里灯檐惊呗早，轻云渡得此身无？
秋风之思，向出张翰。张翰字季鹰，曾任齐王司马冏东曹掾，《世说新语·识鉴》说他在北地洛阳任官时，有感于秋风之起，而强烈地思念故乡吴中盛产的菰菜、莼羹、鲈鱼脍，于是跟人说：“人生贵得适意尔！何能羁宦数千里以要（按：要，即邀，贪取的意思）名爵？”遂命驾而归。不多久之后，齐王败于司马乂而被杀，当时人都以为张季鹰有“知机”之能。
匡庐，本来就是指庐山。李颙借用这个现成的词，拆其字意，说的是赵蕤所隐居的大匡山室庐，也是诗家惯技。从诗的内容可以看出：这一天他乘马登山，还携带着酒壶，为的是去和赵蕤商讨诗句。诗意所系，应该就是不耐为官的心情。这一场诗酒之会，或许在上半夜就结束了，揆诸常理，李颙应该不方便留宿，所以到了下半夜，便策马告别，独自前往北山之邻的大明寺借宿。
由于到时尚属夜分，天色未明，佛子勤劬诵经，其声远传不绝，而令李颙忽生翩翩然遗世独立之感。而在诗后小注之中，则提及了张夜叉行前示警，以及他当夜在大明寺的遭遇。
李颙今夜将到寺留宿，是他过访赵蕤的惯例。不消说，早就有刺史衙署之人先行通报，并且预为打点。不料李颙才片腿下马，就一溜身顺落倒地，死了——唯独心头尚余一点温热。
大明寺常住一向知道慈元与赵蕤、李客等人熟识，这一夜便遣慈元为使君知客。这份差使，在百丈怀海禅师为普天下丛林制订清规之前，名目无数，蜀中各寺多称为“知客水火”，也就是专为贵宾打理膳食，侍奉浆粥。
正在忙碌着水火之事，慈元忽然间听说刺史死于马下，便连忙趋至厩前，俯身察看，还期期艾艾地吩咐随侍的净奴道：“使君心头犹热，去取药酒怀中热罨来！”两句话说完，又轻轻“噫”了声，居然也一头栽倒，跟着死了。
热罨是急救之法，片刻施之，果然奏效。李颙悠悠然醒转了来，第一句话竟然是：“和尚怎地去得恁快？”
眼前除了倒地不起的慈元之外，只有李颙公廨里的参军、从人以及取药酒来推拿热敷的净奴，并无其他和尚。又过了不多时，寺中维那僧也来了，一路慌慌张张地问道：“慈元无恙否？慈元无恙否？”及至看见慈元倒卧在地，全没气息，浑身透凉僵硬，这才叹道：“果然！”
原来李颙一蹶如梦，梦中走在一片荒原曲径之上；但见道旁一僧，手拄锡杖，待他走近时，突然合掌一揖为礼，道：“使君且留步。冥司有急敕来，谓使君尚有一卷诗文未完，此累世债，须尽偿之乃已——此行，且付贫道代劳可矣。”
此外，大明寺的维那僧亦有所见——顷刻之前，他还在堂上指点新僧诵经，忽然看见正殿旁闪过一条缁衣人影，心想：时过寅初，岂容支离院僧夜行？遂赶紧奔逐而出，追随那身影绕过两个院落之后，才发现是慈元。慈元为维那僧所阻，不得已而转过身来，面色煞白，神情哀戚，道：“已代李公大使死矣！某本佛图户贱民，难得遂此功果，几般盘算，实胜在世清修，也便去了！”
维那僧但感身受寒凉，再上下打量慈元的容色，的确没有半点活人气息，便问道：“既云已死，可有遗言嘱托常住？”
“小僧近佛日浅，俗心难化；贪嗔不去，惭愧已极，岂敢遗言以累道侣？唯代使君死，彼亦当有深恤。可尽付常住，以充佛前供养。”
慈元所交代的，也只能算一半实在——李颙得此代命之人，在一夕间翻死转生，既受了惊吓，也得了了悟。不久之后，他还真效法张季鹰飘然辞官，身归故里，行前并捐输大明寺数十万宦囊所蓄，而留下了“一官何所有？半卷再生诗”的句子。
至于慈元，却还有一半不算老实的隐私——他多年来在寺外与李客共营生计，不论放贷、质押，以货以银，私贮也不下数十百万钱；这些，他都严口吞声，没半句吐露。
但是，依《匡山夜吟继赴大明寺有怀寄赵征君》诗后小注所记，慈元还是有舍不下的眷怀，见官不得不诉——就在李颙一蹶奄逝之后，“见一僧来，云：‘贫道自有手实记账；今代使君死，匆匆不及治，奈何？’”
此处所说的“手实”，原本是唐人编户齐民的载录，民户自操，是一部官署核实年籍丁亩的凭据，上面不但注记了各人应服课役，往往细举积欠，谓之“记账”。此账三年一修，确保有“国人”身份者都能完粮纳税，也服事了应该从公的劳力。和尚是方外人，有度牒，自然不会成家户，也就不会拥有“手实”，但是慈元声称“自有”，意思很明白了：他在世上仍有未了的债务。既有代死之说，李颙当然不好峻拒：
“予曰：‘可代治乎？’僧曰：‘可。贫道于昌明李客处寄资百万，非可语人，心实苦之。果索得而为营斋奠，期不复堕奴身，于愿足矣。’予曰：‘和尚亦有放不下物？’曰：‘未拿起，如何放下？’”
在李颙而言，这一段记述仅付笑谈，不外唐人风趣。显然，他日后并未认真为这个代他而死的和尚追讨逋余，营奠营斋之事，想来是这刺史“去来归意分明在，多少名心逐渐枯”的彻悟之后，自捐所有而偿之。真要追问起令慈元一死不能或忘的这笔钱，居然在三五年间“辗转散来东海道，间关接济维扬人”，都结化了无情因缘——此是后话。倒是从张夜叉阻马到慈元代死的情节，日久而讹生，后来被人系于剑南节度使章仇兼琼之身，大约也是因为章仇兼琼名爵高显、动见观瞻之故。
慈元之死，可比江涛滚滚，留在世上的浮沫泡影仅此寥寥数十字，甚且连个名字都未曾记得。为李白带来这死讯的吴指南也就当是一则闲话表过，他来大匡山，其实另有差遣在身。李客嘱他伴送马匹囊橐来，是要李白出一趟远门——分别前往九江和三峡，为一兄一弟各发付一份资财。这事来得突然，李客还相当罕见地给了吴指南一份酬劳，指使他陪着李白同行。
吴指南看来意趣盎然，简直就想即刻动身。李白一则对远游感到兴奋又彷徨；一则顾虑着大匡山上再没有人陪伴赵蕤，忽而替他感到冷清，反倒有些不安。
而赵蕤却有不同的想法。他沉吟了好半晌，才招呼吴指南，把马匹沿坡拉到子云宅后的槽上去，囊橐也搬进了相如台，这就意味着不让来客说走就走了。
“出蜀非同于游眉州，”赵蕤双眉拢攒，又来回踱步，逡巡良久，才转向吴指南道，“此去万里，须得计议——李商另有吩咐否？”
“只说‘神仙自有安排，听凭所嘱’。”
赵蕤闻言，点点头，回眸看一眼李白，忍不住笑道：“前此往西南一游，所嘱于汝，尚能记否？”
李白道：“敬领所教三事：‘见大人，须防失对；见小人，须防失敬；见病人，须防失业。’”