潘虹说,她是在24岁时与米家山结的婚,当时她还没成名,米家山是上影厂的一名美工。“他比我大七八岁,是个高干子弟,无论是年龄上,还是成熟度上,我都好像找到了半个父亲,他对我更像兄长加父亲。”为了能让两个人有共同话题,米家山为了潘虹,专门进修学了导演。然而,10年的婚姻,潘虹与米家山相处的时间却只有1年,其中有5年时间,潘虹是独自一人在峨嵋电影制片厂度过的。
潘虹经历了一次致命的爱情,在出演影片《苦恼人的笑》时,他与导演杨延晋传出绯闻,“爱”上有妇之夫的她“腹背受敌”,一方面是洪融因此大闹上影厂,顿时人人瞋目扼腕,疾言喷喷口沸目赤,尤其是洪融,几度威胁潘虹要让她身败名裂,受到了惊吓的潘虹为了平息事端,为了保全自己的家庭,只好主动找洪融赔罪,这也就是她为什么要把自己的“不幸身世”告诉洪融、为什么要乞求洪融“同情她、可怜她”的真实原因。可是洪融还是没有放过潘虹,被视为“第三者”的也受到了厂里的严肃批评,潘虹只好和米家山离开上影厂;当然,妻子洪融的做法伤透了杨延晋的心,杨延晋不久与洪融离婚。这件事在她纯洁的心里打下了深深了烙印,其实这件事也或多或少地影响到了她与米家山之间的感情。