嚴嵩在弘治十八年（明孝宗年號，公元一千五百零五年）會試考中進士，以庶吉士的身份授翰林院編修，嚴嵩熟悉大明官場製度，往往能在事前先行揣測出嘉靖皇帝的意圖，這本是他步步高升，能夠長期得聖寵的原因之一；然而，人有生、老、病、死，這是自然規律，誰也不可能抗拒；嘉靖末年的嚴嵩已經是八十多歲的老人了，反應漸漸遲鈍起來，對嘉靖皇帝的意圖再也領悟不出重點，而嚴黨雖然遍布朝野，也隻有嚴世蕃能夠頂上嚴嵩的缺，代他來進行票擬。

    此時，嚴嵩的妻子歐陽氏死了，嚴世蕃按照大明製度規定，應當回故鄉去服喪，嚴嵩向嘉靖皇帝請求讓嚴世藩留在京城府邸中處理喪事；嘉靖皇帝同意了嚴嵩的請求，嚴嵩“權傾朝野”幾十年，他的老婆死了，自然有很多人前來吊喪，於是，嚴世蕃一方麵要忙於處理喪事，另一方麵嚴世蕃亦不守規矩，放縱淫樂於家，所以嚴世蕃不得入宮裏代嚴嵩票擬。

    嘉靖皇帝對嚴嵩提的很多問題，不知道怎麽答複，於是嚴嵩派遣使者去詢問嚴世蕃。嚴世蕃沉迷於女色，沒有時間答複；太監們催促嚴嵩又很急，嚴嵩不得已自已作答，往往答非所問，他向嘉靖皇帝所進青詞，又多半是假手於他人，質量不怎麽樣，如此反複幾次，嘉靖皇帝對嚴嵩大失所望，於是更加親近徐階，有很多事情不再問嚴嵩，開始把他當成個擺設了。

    嚴嵩害死了那麽多忠臣義士，如今失勢，心裏麵也很恐懼，於是請徐階飲宴，在宴會上讓家人圍著徐階下跪，嚴嵩自己則舉起酒懷敬酒曰：“我上了年經，很快就要死了，我家裏的這些人就拜托給你了。”徐階連道：“晚生不敢！”又上前一個個地將嚴嵩的家人扶了起來。

    嚴嵩還不放心，命自己潛伏在徐階家的間諜探聽徐階的動向，間諜“繪色繪影”地回報道：”徐階在與徐墦的交談中，好好教訓了徐墦一頓，當初是相爺提拔的自己，為人要感恩，對相爺要尊敬。“嚴嵩這才放心。

    徐階本是夏言的得意門生，當年夏言被嚴嵩所陷害，徐階心中就深恨嚴嵩，然而，為了報複嚴嵩，徐階已經等了幾十年的時間，而且久經官場的徐階看出嚴嵩這是在試探自己，徐階以成熟的演技騙過了嚴嵩，讓他暫時放鬆了對自己的警惕之心；接下來，就該徐階來主動進攻了。

    徐階做了兩件事，第一件事就是讓通過太監們將嚴世蕃在喪母期間不守孝道、肆意淫樂的事情傳到嘉靖皇帝耳朵裏，嘉靖皇帝聞言，果然“勃然大怒”，徐階知道嘉靖皇帝是最看重孝道的，當年，嘉靖皇帝剛剛登基之時，為了把自己的父親朱佑杬尊為皇帝、生母為興國皇太後，他不惜發動大禮儀事件，罷免了托孤大臣楊廷和，將一百三十四位大臣關押進大牢，廷杖官員一百八十多名。

    第二件事，就是向嘉靖皇帝推薦方士藍道行，藍道行深得嘉靖皇帝信任，有一次，嚴嵩在上朝前，徐階事先跟藍道行聯絡，告知了他這件事，藍道行於是說今天有奸臣奏事，嘉靖皇帝見嚴嵩果然上朝，心中便信了幾份藍道行的話，藍道行又趨熱打鐵地說：“嚴嵩、嚴世蕃是奸臣，徐階是忠臣。”

    嘉靖皇帝於是有讓嚴嵩退休的心思，禦史鄒應龍本是徐階的學生，他憤恨於嚴嵩殘害忠良，一直想找機會彈劾嚴嵩；徐階知道此時時機已到，告訴鄒應龍道：“如今的嚴嵩、嚴世番就像沒有根基的高樓大廈，一推就可以倒，楊繼盛、沈煉的仇我一直沒有忘，如今可以報了！“

    嘉靖四十一年鄒應龍上《貪橫陰臣欺君蠹國疏》曰：“工部侍郎嚴世蕃憑藉父權，專利無厭。私擅爵賞，廣致賂遺。使選法敗壞，市道公行。群小競趨，要價轉钜。刑部主事項治元以萬三千金轉吏部，舉人潘鴻業以二千二百金得知州。嚴年尤桀黠，士大夫無恥者呼為鶴山先生。遇嵩生日，年輒獻萬金為壽。臧富侈若是，主人當何如？尤可異者，世蕃喪母，陛下以嵩年高，特留侍養。世蕃乃聚狎客，擁豔姬，恒舞酣歌，今天下水旱頻仍，南北多警。而世蕃父子方日事掊克，內外百司莫不竭民脂膏，塞彼溪壑。民安得不貧？國安得不病？天人災變安得不迭至也？臣請斬世蕃首懸之於市，以為人臣凶橫不忠之戒。苟臣一言失實，甘伏顯戮。”

    嘉靖皇帝看了鄒應龍的上疏後，以嚴嵩溺愛嚴世蕃，有負於首輔職責的罪名，強行命他退休；嚴嵩跪下為嚴世蕃請罪，嘉靖皇帝不聽他的解釋，但嘉靖皇帝念在嚴嵩多年服待自己有功的情份上，仍命有司歲給米百石；嚴世蕃被逮捕於大理寺獄中，嚴嵩知道嘉靖皇帝對自己仍念舊情，於是賄賂太監們，告藍道行狀，藍道行被關進刑部大牢，嚴黨想讓藍道行供認是徐階讓他這麽做的。藍道行一直到死也不肯承認。

    法司最後定了嚴世蕃確實有貪汙受賄的罪名，判處嚴世蕃及其子錦衣鵠、鴻，客羅龍文，戍邊遠。嘉靖皇帝看了這個判決後，原則上同意，為表達對嚴嵩的寬宏大量，特地赦免嚴鴻為民，讓他去服侍嚴嵩，而將嚴府的奴仆嚴年禁錮於牢獄，將鄒應龍升為通政司參議。

    嘉靖四十一年五月，為禍朝廷多年的嚴嵩、嚴世蕃父子終於倒台，聽到這個消息，兩京十三省的民眾“欣喜若狂”，很多人專門買來鞭炮慶祝。

    嚴嵩回到江西老家，嘉靖皇帝追念他平日裏和自己談論修道之事，如今走了，感覺自己有些寂寞，於是跟徐階說，欲傳位給裕王，退居西苑，專祈長生。楊階聞言”大驚失色“向嘉靖皇帝力極不可，嘉靖皇帝曰：”卿等不欲，必皆奉君命，同輔玄修乃可。嚴嵩既退，其子世蕃已伏法，敢更言者，並應龍俱斬。“