过不上几日，那些乡绅大老果然各遣平头，赍书唁慰。书中的意思便关切不过，竟像自己被劫的一般。只是一件可笑：封封俱是空函，并不见一毫礼物，还要赔酒赔食款洽他的家人。心上思量道：“不料人情恶薄，一至于此！别人悭吝也罢了，殷太史与我是何等的交情，到了此时也一毛不拔，要把说话当起钱来，总是日远日疏的缘故。古人云‘一日不见黄叔度，鄙吝复生。’此等过失皆朋友使然，我实不能辞其责也。”写几封勉强塞责的回书，打发来人转去。
从此以后，就断了痴想，一味熬穷守困。
又过了半年，虽不能够快乐如初，却也衣食粗足，没有啼饥号寒之苦。不想厄运未终，又遇了非常之事。忽有几个差人赍了一纸火票上门来捉他，说：“其时某日拿着一伙强盗，他亲口招称，说：‘　在乡间打劫，没有歇脚之处，常借顾某家中暂停。虽不叫做窝家，却也曾受过赃物，求老爷拘他来审审。’“呆叟惊诧不已，接过票来一看，恰好所开的赃物就是那日打劫之际遗失下来的几件东西，就对了妻孥叹口气道：“这等看来，竟是前生的冤孽了！我曾闻得人说：‘清福之难享，更有甚于富贵。’当初有一士人，每到黄昏人静之后，就去焚香告天，求遂他胸中所欲，终日祈祷，久而不衰。忽然一夜，听见半空之中有人对他讲道：‘上帝悯汝志诚，要降福与汝，但不知所愿者何事？故此命我来询汝。’士人道：‘　念臣所愿甚小，不望富贵，但求衣食粗足，得逍遥于山水之间足矣。’空中的人道：‘　此上界神仙之乐，汝何可得？若求富贵则可耳。’就我今日之事看来，岂不是富贵可求，清福难享？命里不该做闲人，闲得一年零半载，就弄出三件祸来，一件烈似一件。由此观之，古来所称方外司马、山中宰相其人者，都不是凡胎俗骨。这种眠云漱石的乐处，骑牛策蹇的威风，都要从命里带来，若无夙根，则山水烟霞皆祸人之具矣。”说了这些话，就叫妻孥收拾行李，同了差役起身。喜得差来的人役都肯敬重斯文，既不需索银钱，又不擅加锁钮，竟像奉了主人之命来邀他赴席地一般，大家相伴而行，还把他逊在前面。