当年他与张子容在鹿门山隐居，彼此戏为主考和举子，互命一题，相应一策。张子容不逾一时而完卷，孟浩然却在三天之后交出了一首根本离题的诗，亦即那一首结句在“睹兹怀旧业，携策返吾庐”的《寻白鹤岩张子容隐居》。
张子容当下回了一首诗，调侃他凝思迟散：
岩栖挟何策，诗卷觅亡羊。眉敛三条烛，思空一篆香。
山深留野客，句老校书郎。事业皆如此，迷途不问臧。
这一首五律交错运用了两个典故。
中间两联，是嘲笑孟浩然诗思迟滞。由于唐人进士科可以延长至夜间完卷，许燃烛三条。敛眉即皱眉，自然是苦思模样；孟浩然眉毫天生稀疏，自己却常说是由于苦思求句所致，故张子容一语双关，既用“三条”来状述眉稀，复以夜试给烛指其文思迟缓，不能急对。篆香烟散，满目空无，可谓深谑矣。其下的“山深”、“句老”也都是承继、发挥此一噱笑。
至于头尾四句，遥相呼应，取材于《庄子·骈拇》，原文：“臧与谷，二人相与牧羊，而俱亡其羊。问臧奚事？则挟策读书；问谷奚事？则博塞以游。二人者，事业不同，其于亡羊，均也。”
张子容从孟浩然的“携策返吾庐”着意，用两个好朋友的隐居生活开了玩笑，但也寓藏着深刻的自嘲和自叹。他把孟浩然比作庄子寓言中的“臧”，因为读书失神而走失了所牧之羊；而即将上考场拚搏的自己，则像是寓言中因赌博游衍、疏于放牧，也走失了羊的“谷”。
那么，姑且将“羊”视为两人最初隐居求道、不问世事的初衷，整首诗的意旨便是：无论进取或退缩，实在没有高低尊卑之分；而其丧失了对神仙世界的向往、专注与追求，则是一致的。无论用语如何诙谐，这首带着玩笑趣味的小诗，都道尽了孟浩然不敢轻易赴京就考的缘故。可是，从另一面说，纵使是走投匦那样一条路，由于种种机缘，投献之文不能获知音者之青眼而沉落，仍属枉然。
驿亭之外，一弯眉月不知何时已经自江头升起，傍着微茫的月光散射，满天星斗也一一陈列着了。沿岸取直而展向东南两天涯处，穿透竹墙上的窗孔看去，尚有平坦而反映着天光的六朝古驰道，就像是另一条平静无波的长江。而江边巨木苍苍，仿佛碧玉雕琢而成，且看它万叶翻腾，有如不甘在此伫立千古，经秋风鼓舞挑唆，便振起不计其数的小小翅翼，亟欲向天飞去的一般。
尽管孟浩然思潮汹涌，近二十年来的浮沉往事闪炽心头，不足以为外人道者，仍不可道，他反复咀嚼着那一句“若知贡举，非取此人为状头而何？”，几乎要凄凉地笑出声来。
崔五、范十三固然不明白他从未应试，实出于胆怯；而此时的李白，则直楞楞盯着孟浩然的幞头发傻。那是一顶俗称软脚幞头的巾帽，外观上浆挺爽俐，堪知里子衬了皮革，这是从太宗朝平头小样的款式逐渐改变而来，根据赵蕤的描述，是武周时期换了花样，幞顶加高——有说是为了包覆假髻；中宗朝以后，不知什么缘故，顶上甚至分成两瓣，若莲花然，也谓之“武家诸王式样”。
几乎就在“武家王样”广为流传、人人仿效的时候，原本幞头后下垂如带、接颈过肩的两只扁细脚帔也屡变新姿，那是由于庶民开始大量顶戴幞头，看来与士人略无差等，而士人相当厌恶这情景，遂刻意将垂带剪短，并弯曲朝上，插入脑后系带的结环，以与俗流区别，这正是士人行中不约而同的趣味。
孟浩然所戴的幞头，便是这种曲环幞头。李白丝毫没有怀疑孟浩然作为一个士族之人的身份，但他也不明白：像这样一个年近不惑、风雅卓绝，似乎文才亦颇受贵幸子弟推重的前辈，为什么没有一份功名在身？不过，李白却未曾料到，孟浩然对他也有着相似的不解：此子既蒙崔五嘉许，复为司马承祯礼遇，俗谓“后进英发，前途佳好”之流，可是为什么看上去也还不过就是一个白身呢？
几乎是同时，也只除了彼此称谓不同，李白与孟浩然冲口而出，问了对方相同的一句话：
“尚未赴科举乎？”
他们互相望了一眼，也立刻沉默着回避了对方的目光。这却引起了崔五和范十三的好奇，不约而同地，范十三对李白、崔五对孟浩然，也各自抢了一句：“何不？”
“史称‘后进之秀’，向无‘前辈之秀’，前辈者，受谤而已！”孟浩然苦苦一笑，搔了搔他那已经近乎全秃的眉峰，将此问推给了面前的李白，“文皇帝收天下英雄入彀，当以少年得意为可喜——以某视之，李郎锐志英才，如应一举，高第可期。”
他的话，绵里藏针，乃以李白为盾，屏挡了崔五和范十三的追问。东汉时代大儒孔融有那么两句名言：“今之少年，喜谤前辈。”一语流传，唐人常常摭拾了来发牢骚、成感慨，以兴时不我予之叹。说到后半段，孟浩然语气一转，再抬出唐太宗来，就更显得振振有词了——唐太宗有一次私访御史台，行过端门之时，正巧遇上新科进士们顶着头上的七尺焰光，鱼贯而行，皇帝于是踌躇满志道：“天下英雄，入吾彀中矣！”
此时众人目光齐集于李白之身，岂能另有他论？这少年仪表堂堂，有如传说中北魏宫廷里那面对钵水持清咒而灿生青莲的佛图澄，人人都不免要问：“汝何不迳取彼一进士耶？”
平生未遇此问，却也是迟早必须面对的质疑。李白若直言：“某，贱商之子，不合应举。”则不免会招致士族的惊疑与轻慢。然而，他也确实不知道该如何捏造身份，而后谩语应对。就在这一转瞬间，他仿佛回到了大匡山，想起临行之前，也是在一席酒宴之前，赵蕤问过他：为什么他的父亲为他这一趟远行所备办的，是一匹马，而不是一副车驾？接着，赵蕤语重心长地说了一段话：“钟仪、庄舄之徒，下士也！不足以言四方之志。一俟风埃扑面，即知胡马噤声。汝自体会，乃不至忘怀。”
他必须彻头彻尾地抛开身世家园，就像那在湍急的江流之中噤声不嘶的五花马，而决计不能是身为囚虏却仍为敌垒君侯演奏故国音乐的钟仪；更不能是偶于病中吐嘱乡音、泄漏念旧之思的庄舄。从这一刻起，他挥下了斩绝闾里之情的第一剑。
李白不期而然冒出一句：“神仙！”
他是在向几千里外不知所在的赵蕤求救吗？显然不是。他知道：今后的处境无论如何，便是一心所生、一身所造；若非本我之所有，终必不能应对。此刻，他举盏到唇，仰饮而尽，指望着亭畔那株看似直想冲天飞去的苍苍古木，笑着答复诸席主客：“某恰有一诗横胸，不吐不快，勉可诵之，以答诸公之问。”
苍苍金陵月，空悬帝王州。天文列宿在，霸业大江流。渌水绝驰道，青松摧古丘。台倾鳷鹊观，宫没凤凰楼。别殿悲清暑，芳园罢乐游。一闻歌玉树，萧瑟后庭秋。
为何不应举？李白根本不必回复这一质疑，他还有一席可以滔滔雄辩之言，要让天下人明白——纵令更不明白也无所谓；他自是一品神仙人物。