事情还不止如此简单。

公元前80年，也还是昭帝时代，上官桀，上官安及御史大夫（机要秘书长）桑弘羊被告阴谋废昭帝而迎燕王刘旦为帝，各人都以谋反判死刑，燕王自杀，霍光才成为朝中唯一首要，&ldo;威震海内&rdo;。

《汉书》说：&ldo;昭帝既冠，遂委任光，迄十三年，百姓充实，四夷宾服。

&rdo;

可是公元前81年，也就是上官家谋反的前一年，昭帝朝中由各地选举之&ldo;贤良&rdo;及&ldo;文学&rdo;和政府官员辩论盐铁专利及最近颁布的沽酒公卖是否应当继续。

其纪录即为有名的《盐铁论》。

单从这文件看来，我们也可以想象霍光做为独裁者的地位，并不十分巩固。

就当时制度而言，除非环境逼迫，他断难有兴致将已行政策，招集大批事不干己的书生评论。

事实上贤良和文学虽想废除政府专卖，但争辩时却不着实际的憧憬于一种泛称&ldo;教化&rdo;的政治哲学，政府方面除桑弘羊外，还有丞相田千秋，他们均能缕举实情反驳。

结果只将沽酒公卖停止，盐铁仍由政府专利。

《汉书．食货志》就针对此事说：&ldo;弘羊自以为国兴大利，伐其功，欲为子弟得官，怨望大将军霍光，遂与上官桀等谋反，诛灭。

&rdo;

所以谋反的真相无法证实，其背景则是昭帝时代，霍光权势还未十分肯定的时候，有赖桑弘羊&ldo;舌战群儒&rdo;的替他维持盐铁专利，但又不愿和他分权，才又因事牵涉到上官一家，其目的在继续巩固他独头政治的力量，已有端倪。

昭帝既没，昌邑王召后被废，霍光才立宣帝。

这时候皇后人选又成了问题，群臣有意霍光之少女霍成君，但是宣帝已有许平君，并已生子即未来之元帝，在他坚持之下许后得立，其后霍夫人显，也不与霍光商量，径遣人入宫以药鸩杀许后，这样霍成君才继之为皇后。

如是又4年，直到公元前66年，时霍光已逝世2年，霍家鸩杀许后的情节才被暴露，起先皇帝的态度改变，接着霍家人事也更动，诸女婿的执兵权者一一他派。

霍光之子霍禹知道旧事必被追究，想要造反未遂，密报已达御前，于是皇后被废，霍夫人显以下及诸婿，又霍去病（霍光异母兄）之后人等除自杀外都以大逆罪处死。

霍家二十年来的声势宣赫，至此和他们相连坐被诛灭的数十家。

传统的史料里有很多类此的资料，我们对当中纷乱的情形还难能溯本归源的看得清楚，更无法确切判断其间是非真伪。

然则皇座前后左右的暧昧游离，只是暴露寡头政治的弱点。

也不一定是当事人的旨趣所在。

霍光未曾统兵作战，但是他为大将军，儿子亲戚都拥重兵，拱卫朝廷。

昭帝对他&ldo;虚己敛容&rdo;。

宣帝则因&ldo;大将军光从骖乘，上内严惮之，若有芒刺在背&rdo;。

《汉书》引茂陵徐福说：&ldo;霍氏秉权日久，害之者多矣&rdo;。

这&ldo;害&rdo;字乃是指以他为害，亦即是痛恨他们的人多极了。

宣帝实际控制大权之后，减赋税，降低盐价，增加下级官吏的待遇。