安以轩之所以被叫黑道公主、黑道大小姐、安公主的原因是她的家庭背景缘故，安以轩所在的安家是台北当地的豪门，多个领域的生意都有所涉猎。奶奶是人称“东区吴妈妈”，是当地有名的大地主，是不少知名餐厅的老房东，每个月光是租金就数额庞大。另外安以轩的姑姑是台北忠孝东路四段的茶街一姐，经营了不少的企业。而她的父亲包揽了台北大片区域的安保工作，所以安以轩出道之后，一度被人称为“黑道小公主”。
不过，对于自己的“黑道身份”，安以轩也从来没有在公开场合承认过，表示家里主业是搞军用纺织品，爸爸是开保安公司的。
虽然父亲给了她衣食无忧的生长环境，但对她的管教却十分严格。安以轩原名吴文静，从“文静”二字就能看出，家人希望她能成为一个安静优雅的大家闺秀。所以，小时候的安以轩，一直生活在父亲的阴影中。如果考试成绩不及格，父亲会让安以轩趴在椅子上，少几分就用藤条抽几下她的屁股。
