1975年赵雅芝嫁给了电子工程师黄伟汉,并且生了两个儿子。但是他们的婚姻很不幸福,只好分手。之后赵雅芝为了争取两个孩子的抚养权,不惜与黄伟汉对簿公堂,这也成了当年港台演艺圈最热门的一大新闻。但是令赵雅芝欣慰的是,现在她的三个孩子关系极其融洽。
1981年赵雅芝与黄锦迁合演无线电视剧《女黑侠花木兰》,两人相恋,当时我觉得他是那种有很高学历、看起来很威猛、比较讨女孩子喜欢的那种人,让我觉得没什么安全感。但后来来往多了,我发现黄锦迁内心特别传统、特别专一,非常有家庭观念,可以托付一生。于是1985年,我们两人在美国结婚了。” 赵雅芝说着她与黄锦迁的情事。