霍光權傾朝野，他立劉賀為天子，後來又廢了劉賀改立劉詢為天子，劉詢儘管是戾太子劉據的孫子，但自小流落民間，因此在朝在野都沒有什麼根基，這樣的天子好控制，這就是霍光最初的想法之一，當然霍光是霍去病的弟弟，你說他屬於衛霍一黨也沒什麼不可以的，儘管巫蠱之禍中霍光沒有受到什麼影響，但是骨子裡謹慎的霍光，面對被屠戮殆盡的衛氏，其內心的真實想法是不為外人所知的。
劉詢即位後，所面臨的最主要的問題是要如何處理和霍光之間的關係問題，前車之鑑還歷歷在目，昌邑王劉賀，進京繼位帶了自己的原班人馬，且十分高調，登基後就安插自己的親信進入朝堂，這讓霍光警覺起來，劉賀想迅速由自己掌控權力，打破現有的格局，把以霍光為代表的老臣都踢出去，這是霍光無論如何也無法接受的情況。為了自保，霍光只有選擇鋌而走險，廢劉賀而改立劉詢為帝。劉賀本來想學漢文帝劉恆，但他沒那麼低調隱忍，鋒芒畢露下，過早地暴露了自己的真實目的，這是他失敗的主要原因，至於他犯下的一千多件敗德之事，大家權當是聽了個笑話，一個人不吃飯不睡覺，一直去作惡也達不到的。
在霍光眼裡，劉詢是個乖孩子，他知道自己根基淺薄，因此只有隱忍等待機會。這裡有一件事，我們從中就可以看出劉詢有多麼的隱忍。他在民間的時候就已經娶妻，妻子叫許平君，是個平凡的女子，婚後不久許平君為劉詢生下了一個兒子。對於劉詢這樣的落魄之人，他和皇族的關係基本上已經斷絕，因此在窮途末路下，是妻子許平君給了他支持和溫暖，這份情誼是無價的，因此劉詢繼位後，封許平君為婕妤，當時劉詢沒有皇后，在他心目中許平君就是皇后的不二人選。但霍光有一個小女兒，是他的小老婆霍顯所生，霍顯一門心思想讓自己的女兒做皇后，很多人見風使舵，都表示誰做皇后，還不是霍光一句話的事情。
這個時候的霍光也膨脹了，他輔佐了漢武帝和漢昭帝，又立了昌邑王劉賀為帝，二十七天後廢掉立劉詢為帝，同時期的輔政大臣都被他幹掉了，他真正實現了大權獨攬說一不二，還有誰能夠動搖他的地位呢？沒有人，因為劉詢是霍光擁立的，劉詢沒有任何理由對霍光動手，霍光是他的恩人，是整個衛霍一族的恩人！但他不想孤獨糟糠之妻，於是他發了一道詔書，說自己有一把寶劍地丟了，儘管那把寶劍都生鏽了，但自己這個人念舊，不想就這麼失去它，希望有人能夠替自己找到。很多人開始找寶劍，但是也有聰明人看出，這哪裡是找寶劍，分明是漢宣帝念舊，想告訴大家，立許平君為皇后就好了，於是有大臣上書，請皇帝立許平君為後。
在這個問題上，霍光很強勢，他堅持原則，表現得十分糟糕。他說：「許平君雖然立後，但她父親許廣漢是宦官，按照規矩是不能封侯的！」儘管劉詢很想封自己的岳父為侯，但霍光不同意，這件事就沒辦法辦，拖了一年多以後，許廣漢只封了個昌成君，君比侯爵可要差多了。這件事說明什麼呢？這件事說明霍光的潛意識裡根本沒把許廣漢這位皇帝的岳父放在眼裡，從根本上來看，就是沒把劉詢這個皇帝放在眼裡，大漢的事情不是你劉詢說了算，而是我霍光說了算。儘管霍光是堅持原則，但那也要分具體的場合，漢文帝當初繼位之初，對於周勃很尊敬，處處讓著他，但是袁盎告訴漢文帝說：「陛下，您不要這麼做，您是君，周勃是臣，哪裡有皇帝如此敬畏大臣的道理呢？」於是漢文帝調整了自己的態度，周勃也從最開始的自大狂妄，變得越來越恭順起來。
霍光在處理許廣漢封侯問題上，體現出來的是他的自大狂妄，在當初漢昭帝十四歲就可以分辯霍光是忠臣的時候，他就可以還政了，但他沒有那麼做，還除掉了其他的輔政大臣，做到了權傾天下大權獨攬。他說一不二的時間太長了，以至於把自己和權力看作了一個東西，尤其是非昌邑王劉賀以後，這種良好的自我感覺讓他越來越自信，也越來越目中無人了。
後來的一件事更是把霍光乃至霍氏推向了深淵，那就是謀害皇后許平君。霍顯一直想讓自己的女兒做皇后，但被許平君搶了先，她心裡咽不下這口氣，中午等到了機會，許平君生病了，而負責給皇后看病的御醫，這個御醫叫淳于衍，她和霍顯的關係不錯。霍顯於是心生一計，她當初也只是霍光的小妾，是因為霍光正妻病逝，她才得到了上位的機會，這次她想故技重施，利用淳于衍來謀害許平君。看到這裡我不禁在想：當初霍光的正妻病逝，為其看病的是不是也是這個淳于衍呢？淳于衍的丈夫通過霍顯的幫助，得到了提拔，代價就是淳于衍要利用給許平君看病的機會，把許平君除掉。淳于衍沒有讓霍顯失望，他毒殺了許平君，但許平君可是皇后，一點小病就死了，御醫都是幹什麼的呢？
於是劉詢命令一定要把這件事調查個水落石出，這下霍顯害怕了，萬一淳于衍把自己供出去怎麼辦？他把整件事對霍光和盤托出，霍光聽了以後，本來想大義滅親，但思考在三後，他沒有那麼做，他違背了原則，認為這件事自己可以搞定。於是當案卷送上來的時候，霍光大筆一揮宣布了自己的意見，「你們不用繼續追查了，處死淳于衍就好了，一切到此為止！」不久，又由霍光做主，把他的小女兒霍成君嫁到宮中，不久立為皇后。
漢宣帝劉詢對於霍光的安排，沒有提出任何異議，全部接受下來。但同時立自己和許平君的兒子為太子，封岳父許廣漢為平恩侯，這次霍光不堅持原則了，一是因為他心虛了，另外一條是既然已經立自己的小女兒為後，那就給劉詢點自由吧！但是立劉詢和許平君的兒子為帝，基本上宣布了霍氏家族的死刑，因為母以子貴，霍光的小女兒並沒為漢宣帝生下一兒半女，這個劉詢的枕邊人不知道，每天劉詢對她笑臉相迎的背後，都是恨不得把她和霍氏徹底抹殺的深深恨意！
當霍光走到自己生命盡頭的時候，劉詢親自登門探望，霍光囑託劉詢照顧霍氏，劉詢點了點頭，垂淚答應下來，霍光去世兩年以後，霍氏被以謀反的罪名族滅！
一個人的歷史，一家之言。
