严嵩本来以为世蕃被流放到雷州，吃点苦头，反省一下自己的所作所为，头脑应该清醒一些；再卖了老面子到皇上面前求个人请，应该没有什么大事。可是这个锦衣玉食的花花公子哪里受得了流放边地的苦楚呢，没过多久便潜回袁州。一日召集工匠修建园亭时，狂妄不羁的严府家丁竞用瓦砾驱赶路过的袁州府推官郭谏臣。郭谏臣好歹也是地方政府的司法官员，不过问了一句话就遭遇退休丞相家奴的戏弄，倍感屈辱的他自然不会善罢甘休。回到官署后，他越想越气愤，收集严嵩父子诸多非法行为向敢于直言的巡江御史林润报告。林润先后上疏弹劾严嵩父子道：“……世蕃自罪谪后，愈肆凶顽，日夜与龙文（严世蕃的死党罗龙文）诽谤朝政，动摇人心，近者假治第为名，聚众至四千人，道路汹汹，咸谓变且不测，乞早正刑章，以绝祸本！”“……严嵩不顾子未赴伍，朦胧请移近卫，既奉明旨，居然藏匿，以国法为不足遵，以公议为不足恤，世蕃稔恶，有司受词数千，尽送父嵩。嵩阅其词而处分之，尚可诿于不知乎？既知之，又纵之，又曲庇之，此臣谓嵩不能无罪也……”
嘉靖四十四年（1565年）三月二十四日，皇帝下诏：以叛逆罪判处严世蕃死刑，抄没其家。
其实，世蕃的所作所为，做父亲的不可能一概不知。比如：严世蕃光妻妾就有二十七个，其他的侍女、丫鬟更是无数。他让那些美妻娇妾，列屋群居，她们所用服饰，绣着龙凤花纹，点缀着珍珠宝石，极尽奢华之能事。其铺张淫逸的糜烂生活堪比西门庆。世宗的第三子裕王朱载重，按例应被立为太子，但世宗对他不太欣赏。因此，连严世蕃对他也很冷淡。就连照例每年该给裕王府的岁赐，户部因为没有严氏父子的命令，一连三年都没给发放。最后，这位处境尴尬的未来皇帝东拼西凑了一千五百两银子送给严世蕃，严世蕃才让户部补发了岁赐。骄横跋扈的严世蕃还借此向人夸耀：“天子的儿子尚且要送给我银子，谁敢不给我送银子？”
严世蕃为了计算自己到底玩了多少女人，命人制做了一种“淫筹”，就是一块块边上绣着花朵的二尺见方的白绫方巾。他专门派一名姬妾掌管“淫筹”，每奸污一名妇女，便留下一个“淫筹”作为纪念。据掌管“淫筹”的姬妾统计，一年下来，严世蕃的“淫筹”总数竟然高达九百七十三个。
饱读诗书，身居高位，接受过儒家正统教育的严嵩，没有管住身边的亲人反而纵容、包庇其种种不法行径，能不走向覆亡吗？
