汉昭帝很年轻就死了，没有留下儿子。大臣们一起讨论该立谁为皇帝，从血缘关系上来看，首选显然应该是汉武帝的儿子，当时汉武帝的儿子里面还在世的只有广陵王刘胥，但广陵王品行不好，正是因为这样，当年汉武帝才没有把皇位传给他。

有一个郎官上书说：“广陵王不守正道，不能立为皇帝。当年周太王舍弃太伯而立王季，周文王舍弃伯邑考而立武王，都只是看谁适合当君主。也就是说即使废除长子而立幼子也是可以的。”他的话让霍光听了很舒服，就把这个人的奏章拿给丞相们看。后来商量来商量去，觉得昌邑王刘贺是个合适的人选，于是奉皇太后的诏令，派人去迎接昌邑王刘贺为帝。

昌邑王刘贺是武帝的孙子，由于父亲死得早，从小缺少管教，所以养成了一身的坏毛病。他当上皇帝后成天游手好闲，只知道和亲信们作乐，根本不理政事。霍光看见这种情况心里非常着急，去问田延年，现在应该怎么办。田延年说“：大将军您是国家的支柱，现在既然知道现任皇帝不行，那为什么不去向太后说明情况，另立一个贤明的呢？”

霍光像

霍光问：“我确实想过这么做的，但不知道古代有没有这种先例？”田延年说：“伊尹当年做商朝相国的时候，因为商王太甲昏庸，于是把他废掉，以安定社稷，后世都认为他办得对。如果大将军能够做这事的话，那您就是当代的伊尹啊！”霍光在田延年的官职上面又给他加了个给事中的职位，让他有进宫议事的资格。然后和车骑将军张安世策划好，召集大臣们到未央宫议事。霍光说：“昌邑王行为淫乱，我怕他会给国家带来危害，现在应该怎么办？”大臣们大惊，谁都不敢说话。田延年站出来手扶着剑柄说“：当年先帝把太子托付给大将军，就是为了能让汉室江山长久地保持下去。现在皇上昏庸无能，大将军也是为了江山社稷着想。如今大将军还在，还能够维持下去。今后大将军死了的话，汉室江山万一断送，我们拿什么脸面去见先帝呢？今天的讨论不能有耽搁，谁要是赞成得晚了些，我就请求让我杀了他！”霍光向大家谢罪道：“你们对我的责备是对的，现在事情落到这步田地，完全是我的过失。”大臣们见事已至此，只好表示赞成霍光的提议。大家一起去见太后，向她控诉昌邑王的种种恶行。昌邑王在继承皇位后，不但不能做个明君，反而罪行累累，光是私底下派人征调违禁物品就有1127次之多，更别提那些荒淫无道的勾当了。太后听了之后非常生气，赶到未央宫，下令守门的士兵不准放昌邑王手下的人进来。昌邑王还不知情，像平常一样来朝见太后，他一进去，门就马上关住，他的亲信就被关在了外面。昌邑王问霍光是怎么回事，霍光解释这是太后的命令。昌邑王很糊涂，没有放在心上。

霍光派车骑将军张安世将昌邑王的亲信全部抓了起来，然后派专人看守昌邑王。而昌邑王到现在还不知道自己就要被废黜了，等到太后派人召见他时，他才有点感到害怕。尚书令当着太后和大臣的面公布了昌邑王的罪状，并代表大臣进言，要求废掉昌邑王。太后同意了。

昌邑王不甘心放弃皇位，他喊道：“听说天子身边只要有敢于进言的大臣，即使天子无道，也不会丢掉天下！”霍光反驳道：“太后已经下令把你废黜了，现在哪儿来的天子？！”于是走过去把他身上代表皇帝的饰物卸了下来，转交给太后。到了这个时候，昌邑王才彻底接受了现实。霍光把昌邑王送到他当诸侯王时在首都的住宅。

昌邑王被废后，霍光召集众大臣商议立谁为帝，讨论了半天，最终大家认为当年被汉武帝废掉并杀害的太子有个孙子流落民间，在民间口碑很好，决定立他为皇帝，他就是汉宣帝。汉宣帝没有辜负大臣们的期望，他带领西汉王朝进入了又一个繁荣富强的时期。而霍光为了国家利益，毅然废黜昏君的故事也流传了下来。