許皇後死後，雖然霍光的小女兒成為了皇後，但劉病已還是立許皇後的遺腹子劉奭為太子。霍光老婆聽說劉奭被立為太子，氣得飯都吃不下，還吐了幾口血，罵道：這是在民間生的兒子，怎麽能立為太子！跟皇後生的兒子，反倒成為諸侯王了？

    老太太命令皇後去毒殺太子。

    有這麽個老媽，女兒心地也不咋地，皇後也就拿著毒藥要給太子吃，但每次太子吃的東西都要保姆先嚐，皇後一直沒有找到機會下手。

    幾年過去了，霍光掛了，姓霍的仍然獨霸朝堂，老太太更是變本加厲，把房子裝修得富麗堂皇，車子都不用油漆，而是直接用黃金塗抹，連伺候的女婢也都是身穿各類奢侈品遊戲宮中，亂搞男女關係。而霍禹、霍山這些人更是四處建造別墅，霍雲更囂張，應該上朝開會的時候，他請病假，出去旅遊了。

    劉病已當年還在民間時，就知道姓霍的稱霸朝廷，誰都不敢管他們。到了自己親政後，派禦史大夫魏相當給事中，管理後宮的事，老太太早前就告誡過霍禹、霍雲、霍山：你們還是要收斂些，現在禦史大夫兼任了給事中，如果有人告發你們，你們能自保嗎？

    後來有一次，霍、魏兩家的奴仆爭路，霍家奴仆竟然衝入禦史的辦公室，要踢魏相的辦公室門，沒想到禦史大夫親自出來認錯，霍家的奴仆才就此罷休。

    老太太霍顯聽說，一點也不高興，反倒覺得魏相這個人不是一般的可怕，開始擔憂霍家的前途。

    魏相很快升為丞相，劉病已很看重他，經常與他謀劃，他的老丈人許廣漢與侍中金安這些人也時常在宮中進出，雖然霍山是尚書，管理大臣文書傳遞給皇帝，但劉病已繞過他，允許下麵的大臣可以不經過尚書，直接把文書交給皇帝。

    這等於是不信任霍山，姓霍的自然明白是怎麽回事。

    許皇後被毒殺的傳言，劉病已也聽說，隻是沒有證據可以證明。

    但是人事調動，劉病已是可以做的，把關鍵崗位上姓霍的都調開，削弱他們的勢力。

    把度遼將軍、中央衛位範明友——霍光的女婿，調為光祿勳，不帶兵了，負責管理後宮事務；霍光的二女婿，直接被下放到西北的安定城去做太守。過了幾個月，又把霍光的姐夫張望調離中央，去做蜀郡太守。霍光的孫女婿王漢則去武威做太守。

    張安世成為京城衛將軍，北軍歸他節製。霍禹雖然被任命為大司馬，但沒有印璽和綬帶，撤銷了他以前統領的屯戍部隊和官屬，隻有一個有名無實的稱謂。

    霍家掌握兵權的人，幾乎都被剝奪了兵權，脫離了軍方，成為政府的管理者。