小公爷齐衡娶了三个妻子，但是这三位妻子都早早的去世了，所以小公爷齐衡最后孤独一人，只是带着两个儿子独自生活，之后他并没有再娶其他人，所以小公爷的一生可以说非常凄惨，他的夫妻子女缘非常短浅。
小公爷齐衡和盛明兰两人明明是非常般配的一对，但是小公爷的身份尊贵而盛明兰的身份只是一个五品官员的庶女，所以这个身份也是小公爷对盛明兰感情的爱而不得的拦路虎，小公爷的母亲对于这二人之间的感情是非常不赞同的，甚至最后还来了一招釜底抽薪，直接让两人认了兄妹所以两人再无可能。
但是小公爷从小性格就非常软，面对这样的结局他根本没有能力去改变，而且他虽然抗争过但是没想到后来嘉成县主又看上了他，嘉城县主是邕王的女儿，相比起五品官员庶女的身份绝对是一个顶级的存在，而且这位县主的脾气非常骄纵，虽然他用绝食来反抗自己的母亲，但是面对脾气骄纵手段狠辣的县主他却没有办法，这位县主是一个心狠手辣的角色，只要有人和小公爷走得近就会遭到她的毒手。
后来小公爷娶了县主之后不久就去世了，他又娶了首辅和庆林长公主的嫡孙女，但是这几个女人最终都是以去世收场。