晚清时，林先生在广州某大户家做塾师，教大户的公子们读书。这是读书人的一条出路，考中科甲的可以出仕为官，然而这毕竟是极少数擅长考试者的门径，更多的读书人科举遥遥无望，便从事教书、幕僚等行业。去大户人家做家塾的先生，又是一种不错的营生，可以保持读书人的体面，还有优厚的待遇，这一行还有个雅称，谓之“舌耕”。
林先生学问渊深，精通五经要义，工于篆隶，又有课徒之法，用力颇勤，检查课业甚是严格。自从林先生来后，公子们学业精进，深得东家的赞许。林先生也极顺心，课徒之余也是读书写字，不知不觉中，已经过了一年。
直到有一天，他收到一封家书，展信之后，才知母亲重病，这封信是兄长写来的，嘱他速归。听说母亲生病，林先生赶忙跟东家告假，乘船回去看望母亲。若从广州乘船，出港后一路向西，即可赶往粤西的老家，若是顺风顺水，比陆路上的还乡之旅快了不啻十倍。
林先生所雇之船还未出港，就有两个行客人匆匆赶来，要求同载。当时天已向晚，船只剩下这一条，林先生想也没想，就一口答应了，让船家打起跳板，请二人上船。来的这两人遥遥抱拳致意，然后从一窄条的跳板上走过。常人走过时，跳板会压出陡弯，一次只能勉强载得动一个人，而这二人一前一后，几乎同时从跳板上通过，跳板只是微微抖颤了几下，却未出现弯曲。两个大汉的身子，这一条木板居然承受得住，船夫看了，暗暗吃惊，收起跳板时，忍不住拿起跳板看了看，发现这还是平日所用的跳板，并无特异之处。这时候船夫就留上了心，不住拿眼睛瞟那两人。那两人丝毫也不介意，明明看见船夫盯着瞧，也只当不见。
新来的两人上船后，靠在船舱内壁上，不发一言，只是观察林先生的举止。林先生对这二人恍若不见，只顾愁闷，兀自唉声叹气，忧愁之色满面，眉头皱成了一个川字。来搭船的两人见状就问：“先生为何如此忧虑？”
林先生答：“母亲有病，正要回去看望，所以心中焦虑，乱了方寸。”
同来的两人中又有一人问：“不知先生在哪行发财？”
林先生道：“在广州教家塾，所得脩金之外，又借了一些，除去路费，恐怕也难够医药费了，故此忧虑。”
二人凛然为之一振，起身施礼道：“先生是真读书人，亦是真孝子，令人感慨，我兄弟二人听了，也深受教益。”
说罢，二人从怀中拿出十两黄金相赠，林先生坚辞不受，所谓无功受禄，寝食不安。
二人道：“先生何必推辞，我们本是海盗，看先生单人独行，有心加害，夺先生随身钱财，却没想到先生是如此孝子。我们只取不义之财，先生是正人君子，我等不敢加害，赠金给先生奉养老母，还望先生不要嫌弃，咱们就此别过。”
说完，二人各自长啸，啸声在水面上传出很远。长啸之后，二人跃入大海，瞬间没了踪迹。这时船已经离开广州，行在海面上，贴着岸线一路西行，岸上的点点灯火遥遥在望，两个人不知到了何处。船夫吓得面无血色，倒是林先生镇定，收了金子，唤回了惊愕中的船夫，此后海上一路平安，两日后返回了故乡。
还乡后，林先生用海盗所赠的黄金为母亲治病，延请名医，精心调理，两月有余，母亲的病情好转，十两黄金数目甚巨，所用寥寥无几，剩下的钱，就都留给了母亲，作为养老之资，又买房买婢伺候老母。
把母亲安置妥当之后，林先生返回了广州，继续做家塾的先生。在课徒之余，他想起了那两个大盗，神龙见首不见尾，又有急公好义的古侠士之风，从那以后，再也没有见到他们，母亲病愈，晚年优游卒岁，免去了贫病之忧，全赖二人所赠的黄金。这天又接到了长兄的家书，说母亲一切安康，病愈之后身子康健，有婢女的服侍，日子过得遂意。
接到家书时，正是黄昏，他想起了在另一个黄昏里遇到的两个海盗——他们面有风尘之色，来去如风，全然不着痕迹。又想起世风日下，世上之人尚不如海盗有节操。他提起笔来写下一首诗，回忆当时与海盗相见的场景。
许多年后，人世代谢，林先生的诗稿散佚，关于海盗的诗，也只有这两句流传至今：
相逢不用相回避，
世上如今半是君。
﹝1﹞《点石斋画报》∶粤人林某以课读糊口，馆于羊城某姓家，馆政弥勤，宾主颇相得也。一日接家书，知萱帏病亟，唤艇赶归，蓦有二人来求附搭，不能却，遂同载焉。
﹝2﹞《点石斋画报》∶林在艇内长吁短叹，默默无言，一人问曰：“先生何忧之深也？”林曰：“闻母病亟，方寸乱矣。”又问：君何业？”答曰：“在城舌耕脩脯无几，今向居停筹贷，只得数金，病费恐不能支，奈何？”二人肃然，起曰：“君文士，又孝子也。”探诸怀中，出十金赠之，林固辞，二人曰：“君毋却，实告君，我乃绿林豪客也，平日但取不义财，从不敢犯正人。”