曹家(高以翔姓曹)爷爷是迪化街附近的地主,环境很不错。曹爸爸年轻时常出入美军俱乐部,跟蒋家第二代玩在一起,之前在米其林公司担任总经理,妈妈以前是马来西亚小姐。另外哥哥高宇桥也在弟弟之后出道成为多利安公司旗下模特。
人红是非多,高以翔凭借优质外形,贵公子气质迅速走红之后,有媒体爆出其Capilano College的最高学历为假学历,被批是假ABC。高以翔回应"我小学三年级级跟父母移民加拿大,十九岁念Capilano College,才念一年我就休学回台湾,在加拿大住了九年,所以我不算是ABC。"