赵雅芝的爸爸是商人,妈妈是典型的家庭主妇。赵雅芝在家排行第四。儿时的赵雅芝很调皮,经常和孩子们一起爬树骑马玩耍打闹。每到吃晚饭,总要妈妈在门口喊几下,赵雅芝才跟一起的小伙伴说拜拜,回家吃饭做功课。
1971年,17岁的赵雅芝毕业于香港天主教崇德英文书院,毕业那年,正赶上日本航空公司在香港招聘空中小姐,梦想环游世界的赵雅芝便去面试。最后如愿当上从香港飞至日本航班飞机上的一名空中小姐。之后赵雅芝所在的航班转为长途,由香港飞至加拿大。因为厌倦了做“空中飞人”的日子,两年后,赵雅芝正式辞去航空公司的工作。而当时正巧香港无线电视台派人来找她作节目主持人,于是赵雅芝便开始专心向娱乐圈发展。