“是‘佳人与我违’！”李白不觉笑了，道，“汝若不明白，某更作一首。”
这第二首，便是《江上寄巴东故人》：
汉水波浪（浪字平读）远，巫山云雨飞。东风吹客梦，西落此中时。觉后思白帝，佳人与我违。瞿塘饶贾客，音信莫令（令字平读）稀。
恰如《荆州歌》虚拟“妾思君”的情境、而不明言“妾是何人、君又是何人”一般，李白江上所忆的“故人”，也不便直指直呼。这“故人”究竟是谁，便十分耐人寻味了。
后世解《江上寄巴东故人》诗者，往往以为“故人”就是寻常旧友，甚至还有误会其人为“瞿塘饶贾客”，甚至将此五字解为“出身瞿塘、家资丰饶之贾客”者，而当面错过了头联“巫山云雨”的典故——此处破题即暗示：诗题所忆的故人原本为一女子。较诸《荆州歌》，《江上寄巴东故人》语意更清楚，也因之而更不能明言相思的对象。
在作法上，李白刻意调度，将五言律体中原应出之以对仗句型的颔、颈两联写成散句，却将头联作成对偶，用这翻转的手段，写梦醒惊觉身在异地而情境虚空，是寓大巧于大拙的笔法。全诗枢纽在于尾联出句：“瞿塘饶贾客”——李白自己是以行商的身份出蜀，兼带着为人交递简札，疏通音信，所以“瞿塘饶贾客”当然还是围绕着“商牒”、“商递”立意。那么，这两句诗中的不言之意竟是：身为投书者，却收不到内心思慕之人所投之书，于是才转而对所思所慕者亲切叮咛，瞿塘地方日夜往来的行商既如此频繁，应该不要断了音信才是。
便在逆旅之中，吴指南逞酒任性，吵闹纠缠，非要李白把那“佳人”是谁给说明了不可。李白只不依，推说诗中无人，毋须颠倒妄想。一阵祟乱之下，那吴指南像是倦了，也像是恼了，不发一言，合身卧倒，呼呼吐息，直似一头喘吁吁的牡驴，喷嘶犹不能解忿，继之以吼啸，接着又一骨碌坐起身，亢声言道：“汝道与某为知交，却凡事不与某同，漫天情义只恁一嘴说得！”
李白满不在乎，依然玩笑道：“情义若不说得，如何便知其有？”
吴指南被他一激，更动了怒意，虎瞪着两眼，道：“汝好生来去，真个自如！彼年去投那赵黑子读书，便不回昌明；西走峨眉玩耍，亦不同某商量，更无一声呼唤；某伴汝出峡办事，汝今日要见古人、明日要见神仙……”说到这里，吴指南眼圈鼻头都泛了红晕。
李白抢忙安抚道：“汝不惬意居停于此，吾等天明就道，迳赴九江也可——”
吴指南一拂大袖，背转了身，居然哽咽起来：“汝早来写诗，晚去作文，那些字句东藏一事、西指一事，好大衣冠模样，好大学问造化；便只某昏懦小人，不知不晓？汝诗文尽教得意，其中有些什么机关，亦不同某说。汝顾某毕竟是何人？一奴仆耶？一狗马耶？却总然不是朋友。”
一口气说罢，吴指南仰头向壁，自发了半晌痴，随手扯过榻旁的罩袍服被，蒙头睡去。星夜过半，忽然惊起，似已不计前事，只把方才睡稳的李白摇醒了，道：“呜呼呼呀！汝大沉甸，压某直欲死！”
在那个幻念之中，吴指南化身成一头白骡，索缚在舟，沿江而下，来到汉水之滨，忽然间成了李白的坐骑，一反于昼间醒时情态，梦境中的李白却奋力驱之西行，吴指南则闹起了驴脾气，执意不肯回头。于是鞭楚如雨，催趱他逆流泅泳，直向三峡而去……醒来时，吴指南一身热汗，浃背淋漓，还紧紧捉握着李白的手，道：
“汝终须不与某为伍！”
“此言甚矣！”李白被他搅扰得也烦躁起来，甩脱手臂，道，“宁不知手足骨肉，分离即死耶？”
吴指南松了手，翻身复睡，口中却忍不住喃喃道：“临行时赵黑子同汝说了许多呆话，某全不晓其义，便只记得‘身外无家’四字——汝并家且不要，则情义付之何用？”
对于吴指南的疑惑与抱怨，李白固有确凿不移之答，然而他更知道，哽咽在喉的“某当以身系天下”之语，吴指南不会懂得。李白沉默了许久，直到满室唯余鼾雷阵阵，才低声道：“龙吟曾未听，幽抱独长掩。”