自从胡军成名后,他的大部分日子在飞机上和剧组里度过,一年在家里待不了几天。2003年5月,香港一家媒体拍摄到了胡军送刘嘉玲回酒店的亲密照片。很快,内地媒体和网站就转载了这条爆炸性的新闻。胡军蒙了。回到家,卢芳正在新家装修房子,设计、选购材料、做监工……繁重的操劳使她憔悴了许多。她够累了,而那些莫须有的传闻却还要使她受到伤害,胡军拿出刊载有关他绯闻的报纸,解释说:“在上海举办的第七届国际电影节开幕式上,我和刘嘉玲是嘉宾,走红地毯时,主办方要求我们的样子显得亲密一些,私下里我们没有什么。”尽管卢芳相信他,但夫妻长期分离,独自一人挑起整个家的重担让她太累了,她没好气地对胡军说:“不管怎么样,你以后的言行都得检点一些,别给别人留下口实。”这件事在胡军的心头留下了阴影。2004年5月,30集电视剧《一江春水向东流》的导演找到胡军,请他出演男主角,胡军对这部剧很感兴趣,但当得知女主角的扮演者是刘嘉玲时,他犹豫了。他去问妻子,卢芳却说:“你和刘嘉玲之间没有什么,为什么要回避呢?这岂不是反而给别人留下话柄?”妻子的大度和理解让胡军有了底气,他走进了《一江春水向东流》剧组。该剧在重庆拍摄了将近半年,就在这部戏要封镜时,上海一家周报抛出重磅新闻,说胡军和刘嘉玲旧情重燃,痛苦万分的梁朝伟为此在酒吧买醉。