专家认为，由怨母导致的心理阴影，使秦始皇在婚姻能力上未能健康发展。也有人认为秦始皇是要求过高，无合适的皇后人选，所以才未立后。
坐拥天下的秦始皇为什么不愿意立皇后呢？
首先，和秦始皇的特殊出身有关。史载，秦始皇的母亲赵姬行为很不检点，先是做投机商人吕不韦的小妾，怀孕两个月(多数人认为怀的就是后来的秦始皇)后，又被吕不韦献给秦国的王孙子楚，子楚继位后称庄襄王，庄襄王死后，身为太后的她仍经常与吕不韦重温旧情。《史记吕不韦列传》中记载：始皇帝益壮，太后淫不止。后来她又与缪毐私通，并生下两个儿子。缪毐甚至于酒后大骂众臣：我乃秦王假父，怎敢与我斗口乎？母亲的失检行为令秦始皇恼羞愤怒，无地自容，使他心理压抑，性格变得极为复杂：内向、多疑、妄想、专制、暴虐、冷酷无情，把他变成了一个失去理性的暴君，最后彻底暴发，杀了两个私生子弟弟；将嫪毐五马分尸，曝尸示众；将其母赶出咸阳，并迁怒于吕不韦，罢免其相国之职，后又下诏命吕不韦速徙蜀中，不得逗留！并给吕不韦写信说：你对秦国有何功劳？秦国封你在河南，食邑十万户。你对秦王有什么血缘关系？而号称仲父。你与家属都一概迁到蜀地去居住！吕不韦一想到自己已经逐渐被逼迫，害怕日后被杀，就喝下鸩酒自杀而死。
因母亲带来的心理上的阴影一直伴随着秦始皇，而且由对母亲的怨愤，发展和泛化成对一切女人的仇视，造成他后来在婚姻上的偏执。尽管他的后宫里充斥着六国佳丽，但他只是把她们当作发泄对女人的仇视的对象，或者满足生理需要的工具。秦始皇对统一六国后收人后宫的众多佳丽非常鄙视，痛恨她们抛弃亡国之辱而媚悦新主的行径，但对守贞重节的女子却倍加赞赏。据说有一个年轻寡妇名清，她数年如一日遵守妇节，秦始皇曾赐令她旁座，与自己平起平坐，而秦时就连当朝丞相在皇帝面前也只能站着，少有赐座之事。秦始皇还为这名寡妇修筑了一座怀清台，以彰扬其事迹。至今蜀中有一山名贞女山，便是该寡妇曾经寡居的地方。
所以说，由母亲的行为而形成的心理伤害和心理扭曲，由怨母而仇视女人，是秦始皇一直不立皇后的一个重要原因。