据悉，在历史上，乾隆之所以没有传位给永璂，很大的原因都和乌拉那拉氏有关系。
俗话说，立嫡立长，嫡子在皇位继承人中，无形中就具有先天的身份优势。然而，十二阿哥作为帝后之子，乾隆仅存的嫡子，却并没有享受到作为嫡子的优势。相反，相对于其他阿哥而言，十二阿哥可算是待遇很不好的一个。
乾隆认为自己嫡子缘分浅薄，两个嫡子都是因为自己想立为皇储而早夭。对嫡子继承皇位已经存了抵触之心，加上后来的十三阿哥永璟也是早夭，益加认为自己没有嫡子的缘分。对于仅存的嫡子十二阿哥，这感情也就十分复杂了。仿佛存了种这儿子也随时会夭折的心，也就不愿意多加亲近，以免将来伤心。
加之，永璂的母亲乌拉那拉氏也不受宠，乾隆三十年（1765年）五月皇后不废而废，被幽囚冷宫，同时意味着十二阿哥永璂彻底丧失了被选为储君的可能性之后。
之后很长的时间，奢华的紫禁城充满了萧瑟之气，但是最难过的恐怕是形单影只的十二阿哥永璂了，曾经是众人仰望的希望之星，一夕之间跌进了万丈深渊，成为大多数人嫌弃的对象。