因为汉武帝十分忌惮卫青的外戚势力，所以必须得铲除干净。卫青之所以可以取得战功赫赫，完全是托了她姐姐的福。后来，他的立下了功劳逐日增多，但是卫子夫在汉武帝心目中的地位因年事已高、肤色日渐衰退而慢慢下降。只要卫青还活着，卫子夫等人就有一个非常强有力的支持者，但是在卫青死后，支持者消失了，好感也消失了，还碰到了巫蛊之祸事件，卫子夫等人这才倒霉了起来。
公孙贺就是第一个倒霉的人。当时因为他的儿子因为做尽坏事，被人举报后锒铛入狱。公孙贺为了救儿子，恳求逮捕朱安世。朱安世被逮捕之后，却说公孙贺的儿子与公主之间有私情，并使用巫蛊之术，扎小人儿诅咒汉武帝。汉武帝得知此事后，立即要求手下的人查明实情。这一查，确实查到这个木偶人，于是就公孙贺就惨遭灭门。
卷入此事的公主是汉武帝和卫子夫的女儿们，汉武帝非常生气。他根本不顾及亲情一说，处决了两个女儿。不止如此，就连卫青的儿子也没能逃得过，这接二连三的亲人离世，使卫子夫很难过，可是事情并没有因此结束。当时因为刘据与酷吏之间的不和，促使酷吏对刘据也下了毒手。
他们从刘据的宫中挖出了许多木偶人，之后刘据为了使自己保住性命，先下旨杀了这些酷吏。当时，汉武帝没在宫中，后来这件事被逃出宫去的人传到了汉武帝的耳朵里。汉武帝立即派人去调查，但那些人根本就不敢入宫去。之后，不得不编织谎言，说刘据谋反，最后逼得刘据和卫子夫自杀。
卫青一生对汉朝忠心耿耿，这与卫家后来被灭族关系不大，因为汉武帝灭卫家主要是因为汉朝发生的巫蛊之祸。太子刘据被污蔑与巫蛊之祸有关，皇后卫子夫被逼自杀，卫家也被灭门。
提到卫青就不得不提卫青的姐姐，汉武帝的第二任皇后卫子夫，一个稳居后位38年的女人。卫子夫的儿子刘据是汉朝太子，后来汉武帝在出巡的时候交给太子监国，结果发生了巫蛊之祸，汉武帝大怒，太子刘据选择带兵抵抗不投降，最后被逼自杀。皇后卫子夫知道了局势的严重性，最后选择了上吊自杀。
汉武帝为了下一任太子可以有比较稳定的即位环境，选择将太子刘据的势力全部清除，卫子夫的家人也被全部杀掉，卫家从此就走向了没落。这也体现出了汉武帝这个人的狠心之处，后来知道了太子是被诬陷的，他依然选择维护新太子的利益，因为在帝王眼中终究是江山更重要。
卫青的确是因为姐姐才在汉朝历史上有了更大的作为，卫青是一个令人敬佩的将军，因为他的存在，汉朝才摆脱了匈奴长期来犯的烦恼，汉朝才有了更加稳定的发展环境。汉武帝对卫青将军一直是越来越信任的，他将自己的江山背负在这个男人的马背上，还将自己的姐姐嫁给卫青，这些都是汉武帝重视这个大将之才的体现。卫青、霍去病和汉武帝一直有着他们之间的友谊，卫青与卫家后来被废完全是两件事情，我们应该分开来理解。
