纪晓岚有一个别致的自号，叫“观弈道人”。纪晓岚晚年很喜欢下围棋，在下棋的同时，他也从中体悟官场、世道、人心。乾隆五十一年（1786），他曾经请朋友沈云浦画了一幅《桐荫观弈图》，自题诗一首：
不断丁丁落子声，纹楸（qiū）终日几输赢。
道人闲坐桐荫看，一笑凉风木末生。
在这里，他以“观弈道人”自比，闲看世间风云变幻。7年后，他再次检视《桐荫观弈图》，又有感叹。他认为当初请人作观弈图，也不过是道人（也就是纪晓岚自己）不亲自参与胜负而已，但其心中仍然存在着胜负之心，而如今看来，连这个胜负之心也都是幻象呢。这种心态在另一首与弈棋有关的诗中暴露无遗。这首诗是写《八仙图》的，图中八仙，各具情态：何仙姑与韩湘子对弈，其余五仙旁观，而铁拐李一个人却在一旁呼呼大睡。纪晓岚写道：
局中局外两沉吟，犹是人间胜负心。
那似顽仙痴不省，春风蝴蝶睡乡深。
“顽仙”既指铁拐李，也是纪晓岚自喻；“春风蝴蝶”，化用庄子化蝶故事，比喻自由自在，不存人间胜负之心。纪晓岚在这里表达了超然世外的态度，可算是看透红尘。不过，他在乾隆官场上摸爬滚打了半个世纪，想要超然也不是那么容易的事情。
自挽联 纪晓岚在69岁那年，有一天跟同僚聊天，聊得兴起，说：“从前陶渊明自作挽歌，我今天也自题一首挽联，希望我死后大家能够用它挽我。”这首自挽联如下：
浮沉宦海如鸥鸟，
生死书丛似蠹鱼。
挽联第一句是说在官场中起落浮沉，就好比鸥鸟一样，这把仕途的艰辛描摹出来了。第二句是说自己埋头于图书之中，好比在书中生死的蠹鱼一样，这表达了他对自身命运的喟叹。从这一自挽联中可以看出纪晓岚对官场的厌倦之情，其中也包含了纪晓岚对自己一生的认识。
从以上这些细节可以看出，纪晓岚不太可能做成乾隆的宠信之臣、重用之臣，充其量不过是皇帝养起来的一个文学词臣而已。
