“衣冠禽兽”一语最早来源于明代官员的服饰。明朝规定，文官官服绣禽，武官官服绘兽。品级不同，所绣的禽和兽也有所不同。
具体的规定是：文官一品绣仙鹤，二品绣锦鸡，三品绣孔雀，四品绣云雁，五品绣白鹇，六品绣鹭鸶，七品绣鸳鸯，八品绣黄鹂，九品绣鹌鹑。
武官一品、二品绘狮子，三品绘虎，四品绘豹，五品绘熊，六品、七品绘彪，八品绘犀牛，九品绘海马。
在服饰的颜色上，不同的品级，也有不同的颜色。文武官员一品至四品穿红袍，五品至七品穿青袍，八品和九品穿绿袍。所以，当时的“衣冠禽兽”指的是官员的服饰，有令人羡慕的味道，一般用作赞语。
“衣冠禽兽”开始被用作贬义，是在明朝中晚期。当时宦官专权，政治腐败。大部分文官武将欺压百姓，无恶不作，导致官场一片声名狼藉，老百姓视官员为匪盗瘟神。于是，老百姓称那些为非作歹、道德败坏的文武官员为“衣冠禽兽”。到了清代以后，“衣冠禽兽”一语完全被用作贬义，泛指那些外表衣帽整齐，行为却如禽兽，道德极其败坏之人。