锦衣之下师傅离开锦衣卫与当年夏家被抄家一事有关。
杨程万年少时曾在福建居住，认识了林家的大小姐，也就是林菱的姐姐，但后来林家把她许配给了夏言的长子夏长青，杨程万知道林家是嫌弃他的身份，于是来到京城博取功名。
他成为一名锦衣卫，和锦衣卫经历沈炼受到陆炳的重用，那时的他虽然不如陆炳，但也算是意气风发，在朝中占有一席之地，不过杨程万并不喜欢沈炼，觉得他过于迂腐。
后来，杨程万察觉到严嵩要对付夏言，于是找了个借口来到南京办差，悄悄见了夏长青夫妇，希望他们能多加小心，夏长青夫妇知道无论怎样自己肯定会受到牵连，但他们舍不得年仅五岁的女儿。
于是，几人设下一计，在上元灯节时，夏长青夫妇带孩子到街上看花灯，之后派人将孩子抱走，谎称孩子丢了，如果夏家遇到不测，便让杨程万把孩子交给林菱抚养，如果没事，就把孩子接回来，对外称找到了。
没想到的是，严嵩收到风声，得知有人向严家通风报信，又得知杨程万见过夏长青，于是便将杨程万抓到诏狱，想要屈打成招，杨程万知道他没有证据，便咬紧牙关，否认到底，还因此被打断了一条腿。
后来，沈炼站出来主动承认是自己在向夏言通风报信，还不顾陆炳的劝阻，弹劾严嵩，但当时严嵩权倾朝野，皇帝对他极其信任，沈炼鲁莽行事，被贬到保安州为民。
杨程万从诏狱出来后，陆炳本想让他官复原职，但他拒绝了，自那之后，他便成为六扇门的一名小捕头。
《锦衣之下》里，师傅杨程万离开锦衣卫有一部分原因是为了今夏。当年，杨师傅是锦衣卫里的翘楚，有很好的发展，但是他看到了锦衣卫的无血冷酷，并且因为今夏母亲被罚腿残，心灰意冷之下，也为了更接近今夏而照顾她，宁愿改名，做个不起眼的六扇门捕头，只想好好陪着故人之女今夏度过余生。
