郑夫人与乳母在黄天荡遇劫后逃亡,因路途艰险,乳母体力不支投井自尽,郑夫人独自逃至老泥庵。庵中泥僧因佛地规矩无法久留产妇,将其安置于厕屋。郑夫人在此产下一子,用罗衫包裹弃婴,托泥僧将孩子放置十字路口,后被徐能收养,取名徐记祖。
苏老夫人因长子苏云失踪,命次子苏雨前往兰溪寻兄。苏雨发现知县已更替为高姓官员,得知兄长可能遇害,悲痛成疾病逝。高知县将其安葬城隍庙,事件线索中断。
徐记祖十五岁赴考途中遇苏老夫人,见其家中供奉苏云、苏雨灵位,因面貌酷似苏云,引发老夫人痛哭。老夫人赠其烧毁领口的罗衫,暗示血缘关联。徐记祖中进士后任监察御史,回乡途中逐渐揭晓身世真相。
徐能横行乡里多年,收养徐记祖后自恃得子,却因恶行遭因果报应。故事以罗衫为信物,串联苏家离散、徐能作恶、徐记祖身世之谜,铺垫后续家族沉冤得雪与善恶有报的结局。