随着沈德潜年纪越来越大，已经没有太多的精力继续为皇帝效命，于是决定辞官，为了能够让沈德潜安享晚年，乾隆为他建了祠堂。沈德潜于1769年去世，去世时97岁，，已经可以算是高寿了。
对于沈德潜去世这件事情，乾隆一度感到十分悲痛，毕竟他一直都是自己钟爱的臣子，为了彰显自己对于沈德潜的看重，乾隆将他封为太子太师，并亲自为他写悼念词，将他的牌位放到贤良祠以便悼念。
本来以为这就是无上的荣耀了，但是让人没有想到的是，世事无常，皇帝更是喜怒无常，沈德潜没想到的是，他死后还因一首诗得罪了乾隆，当时的情况是在江苏东台发生了一件诗案（文字狱），沈德潜曾经给涉案的主要人物徐述夔写的书做了序，书中有“明朝期振翮，一举去清都”的诗句，这让乾隆对沈德潜产生了怀疑，并觉得心中十分不忿，便下令对他进行惩罚，剥夺了给予他的所有荣誉，并下令把他的坟墓铲平，让沈德潜死后也不得安宁。
