赫本的父亲名为约瑟夫·维克特·安瑟尼·赫本-鲁斯顿,是英格兰银行布鲁塞尔分行总经理,母亲名为艾拉·凡·赫姆斯特拉,是男爵夫人、荷兰王室直系贵族血统后裔。赫本母亲的第一次婚姻嫁给了荷兰贵族,生下了两个儿子。第二次婚姻对象即赫本生父,生下了赫本。母亲从小有着演电影唱歌剧的梦想,父亲因工作原因往来三地(英国、布鲁塞尔、荷兰),致使一家人鲜有团聚。赫本之父倾向纳粹甚至信仰法西斯主义,似乎是两人婚姻关系的致命一击。在女儿六岁时(1935.5),父亲抛下了妻子离家出走,母亲一夜白头。随后欧战爆发(1939.9),赫本跟随母亲来到荷兰。由于奥黛丽这名字并不常见,为保护女儿,母亲将其临时改写为Edda以求平安度世。
战乱饥荒,家庭的贫困并没有阻挡母亲对女儿的爱与支持,战争结束,母亲把赫本送到了白俄芭蕾舞教师索尼亚·加斯开尔处学习。多年来借口不见女儿的父亲在其从艺后曾给她写过不少信,但都被母亲秘密拦截。母亲想让赫本忘记父亲,并告诉她,她的父亲从未改变“当初的信仰”。成名后的赫本曾专程去看望孤身一人的父亲,但不欢而散,父亲表示不愿再次相见。肖恩(赫本长子)曾表示外祖父患有情感交流障碍,终其一生,赫本都对父亲的失踪感到遗憾,创伤” 。最后十年母亲与赫本同住在和平之邸,受到悉心照料,于1984年8月26日逝世。