此时，距离杨玉环与寿王李瑁大婚，仅仅过去了三年。为了解决杨玉环的身份问题，李隆基可谓是煞费苦心，再决定要将杨玉环收进后宫后，李隆基先是以为自己的母亲窦太后祈福为由，敕书将杨玉环送进道观，令其出家为道士，赐号“太真”，并在数年后，正式的将她纳入后宫，封为贵妃。而在这期间，作为杨玉环的原配，寿王李瑁被迫成了前夫，史书中没有记载李瑁在当时如何自处，或者作何想法，但后世中一些关于描写此事的诗词，却能很好的诠释李瑁当时的心情。
“夜半宴归宫漏永，薛王沉醉寿王醒”---李商隐《龙池》古语有云，夺妻之恨不共戴天，这要是换了旁人，恐怕李瑁会和对方拼命，但尴尬的是，这个抢走自己心上人的，却是自己的父亲，更重要的，他还是皇帝。因此，在眼睁睁的看着杨玉环成为了父亲的女人，也从自己的妻子成为了自己的母妃之后，李瑁选择了沉默，即便是内心痛苦万分，但也没有表现出来，不仅如此，他还十分顺从的，接受了父亲李隆基给自己安排的另一门亲事，娶了右郎将军韦昭训的女儿韦氏为妻。
可能有人会说，李瑁不算男人，自己的女人被抢，却无动于衷，有道是站着说话不腰疼，在当时的情况之下，李瑁这么做恐怕是最明智的选择，虽说他贵为皇子，但李隆基可是皇上，如果李瑁有任何不满，恐怕就会因此死于非命，不久亲刚刚被逼死的三个皇子尸骨尚且未寒，为了活着，李瑁必须沉默。前文提过，李瑁的生母是武惠妃，虽说她在生前深受李隆基的宠爱，但这并没有给儿子李瑁带来多大的实质性好处，除了按照惯例封为寿王之外，与其他皇子对比，李瑁不仅没有享受到特殊的待遇，反而从小就寄养在伯父宁王李宪的家里。
之所以会被寄养，主要是因为武惠妃在世时，曾先后为李隆基生过四子三女，但大多夭折，活下来的，只有寿王李瑁和咸宜公主，为了让李瑁健康长大，就将他送到宁王府，由宁王妃元氏哺养。而这样就造成了一种状况，虽说母亲受宠，但李瑁却与父亲李隆基的关系越来越远，说白了就是并不密切，这一点，在太子李瑛被废后，李隆基立李亨为新的太子而不立李瑁就能看得出来。
实在是李隆基的儿子太多，根本不差李瑁这一个。也正因为如此，在武惠妃去世之后，李瑁在李隆基面前的存在感越来越低，虽说谈不上可有可无，但至少不太重视。而夺走李瑁的妻子杨玉环，就是最好的证明，虽说当时的社会风气开放，但毕竟还有道德伦理观念存在，不过，李隆基却并没有顾及这一点，在看到杨玉环貌美后，直接就下了手。
究其原因，除了李隆基个人原因之外，更多的就是李瑁在李隆基心中实在是不重要，抢了也就抢了，他也不能怎么着。但这对于李瑁而言，就是一件如同剜心挖骨般的痛苦了，妻子被夺走，还不能有任何不满，这就好比扒光了李瑁的衣服，并被拉到长安的大街上游行，让大唐的亿兆子民都看着李瑁出丑。全天下的人，都知道李瑁被横遭父亲夺妻，并且还会在背后颇有兴致地讨论这件事。
