之后田文镜想要借着吊唁李卫母亲的丧事,缓和一下两人的矛盾,而李卫不仅不接受田文镜的好意,甚至将所有礼品全部扔出府上,并将礼单丢尽了厕所之中,还说道:“吾母虽馁,不饮小人一勺水!”从此李卫与田文镜彻底交恶。鄂尔泰也曾因为西湖办公一事弹劾李卫,就此与李卫关系非常不好。后来在雍正十一年(1733年),李卫弹劾鄂尔泰的弟弟、步军统领鄂尔奇坏法营私,紊制扰民,后雍正看在鄂尔泰的面子上而赦免了鄂尔奇,并奖励了李卫,这也使得两人的矛盾进一步激化,彻底达到了冰点。
两年之后的雍正十三年(1735年),雍正皇帝去世,临终前将鄂尔泰任命为辅政大臣,委以托孤重任,并且留下遗言要鄂尔泰死后享受配享太庙的荣誉,鄂尔泰一时间成为乾隆朝初年风光无限的人物,地位显赫无比。而此时的李卫又恰恰被调为了直隶总督,离着北京城太近了。李卫一方面担心鄂尔泰会寻思报复,另一方面,李卫的身体状况也大不如前,最终,在疾病与担心忧郁中,李卫于乾隆三年(1738)年去世,时年51岁。
乾隆皇帝按照总督例赐予祭葬,并赠谥号“敏达”。俗话说“一朝天子一朝臣”,李卫能够以这样的善终收场也实属不易。看看田文镜,不仅在乾隆朝初年被反复批判,庙宇被撤,就连其陵寝都被乾隆皇帝拆毁。再看看张廷玉,更是被乾隆皇帝打击的体无完肤,就连鄂尔泰也在其晚年受到了打击与排挤。实际上,乾隆皇帝对于李卫的评价其实并不高,认为他并不如鄂尔泰:“鄂尔泰、田文镜、李卫都是先帝的重臣,其实田文镜不及李卫,李卫又不及鄂尔泰,而他们三人素来不曾谋合。
”在这之后还出现了前文中拆毁李卫画像的事情,也算是乾隆皇帝的一种发泄。李卫的五个儿子及其他晚辈,可以说享尽李卫带给他们的“政治遗产”。李卫共有五个儿子,李卫在世的时候就开始为自己的家族后辈们铺路,以至于在李卫去世后,这些子嗣们依旧活跃于官场。长子李星垣。这是李卫所有儿子中,官职最高的一位。一方面有赖于李卫对其的培养,积极为其疏通关系,另一方面李星垣自身的条件也是非常好,再加上其非常的努力勤勉,因而得到了包括乾隆朝重臣李侍尧等人保举,从总兵一路做到了两广总督的位置。
只不过其晚节不保,牵连到贪腐案中,进而被乾隆皇帝判了“斩监候”,也是非常的可惜。次子李星聚。李星聚由于自身能力和实力相较于他的大哥李星垣差距明显,并且纯粹是因为李卫的关系才能做到知府一级的官员,于是在其担任福建延建邵道后,官职再无提升。三子李星灿。李星灿只做到了从七品的州判官职,并无太大成就。四子李星宿。