御史大夫桑弘羊是前朝权臣，论资格、功劳、才能，他都自认为在霍光之上。

他名义上也是辅政大臣，但权势不仅低于霍光，也不如上官桀。

&ldo;盐铁会议&rdo;上，又遭失败。

他曾替子弟谋官，遭到霍光的拒绝。

故此，他对霍光也甚为怨恨。

霍、上官两家是儿女亲家，上官桀的儿子上官安娶霍光的女儿为妻。

由于这层关系，在三巨头上，上官桀的权势仅次于霍光。

霍光休沐回家，上官桀便替他裁决政事。

但是上官一家并不以此为满足。

他们通过讨好昭帝的姐姐鄂邑长公主，取得她的信任，并乘其为弟弟选妃之机，把上官安6岁的女儿送入后宫，使年仅12岁的昭帝册立其为皇后。

父以女贵，上官安当上骠骑将军，封桑乐侯。

他骄奢淫逸，恃势专横。

他整日饮酒作乐，与后母、侍婢淫乱。

由于当初霍光未答应上官安之女入宫，他们十分怨恨，便欲取而代之。

在反对、驱除霍光的行动中，上官一家还和皇亲结成了联盟。

在朝中是鄂邑长公主，他们因安排公主的情夫丁外人而讨得了她的欢心，而霍光却因不答应封丁外人做官而与公主结怨。

此外，他们还联合了武帝三子燕王刘旦。

刘旦因太子自杀，次子早死，满以为帝位非他莫属，不想却传给了少子，故对昭帝不无怨恨。

如此一来，四方一拍即合，着手行动。

上官桀和桑弘羊暗中收集霍光的过失，把材料交给燕王刘旦。

刘旦遣人上疏弹劾霍光说：&ldo;霍光出京去长安东的广明亭检阅御林军，道上称跸，太官供备饮食，僭用天子仪仗；任人唯亲，他的长吏杨敞无功无才却当上了搜粟都尉；他还擅自调动校尉。

霍光专权自恣，臣怀疑他图谋不轨，愿归王玺，宿卫京师，保卫皇上。

&rdo;

上官桀和桑弘羊乘霍光休沐回家之际，劝昭帝把燕王的奏疏下发百官，罢免霍光。

不料，昭帝把燕王的奏疏留下，不肯下发。

翌日清晨，霍光上朝，听说燕王奏劾之事，便停在一处叫&ldo;画室&rdo;的殿中，未敢入朝。

昭帝宣召霍光入朝。

霍光入，免冠顿首。

昭帝说：&ldo;大将军戴上冠，朕知道燕王奏疏有诈，大将军无罪。

&rdo;霍光顿首谢恩，问道：&ldo;皇上怎知燕王奏疏有诈？&rdo;年仅14的昭帝振振有辞地分析说：&ldo;大将军去广明亭检阅御林军，广明亭近在咫尺，何须准备饮食？调动校尉一事不出十日，燕王怎能得知？若大将军想图谋不轨，不需校尉。

&rdo;

上官桀等人不甘心失败，决心铤而走险。

他们定计：鄂邑长公主出面请霍光吃酒，伏兵格杀霍光；除掉燕王，废除昭帝，拥立上官桀为帝。