李安祖籍江西德安县，所以他名字里有“安”。父子关系是他前3部电影的主题，父亲是长子，李安也是；父亲是中学校长，士大夫家庭的观念，长子要读书做官。
李安的弟弟李岗说：“爸爸最讨厌两种人：演员、船员，这两个儿子当时一个念影剧，一个念航海，爸爸平时很没面子的，那些朋友问小安在干吗？念电影，他都说不出口。李安都已经是世界大导演了，那时台湾的‘北艺大’成立了，他回来的时候爸还跟李安讲：该回来教书了吧，做点正经事。高一时李安插班，父亲拿了一张测志向的表让他填，上面几百个科目，李安没一个喜欢的。父亲问：你喜欢做什么？李安说：我想做电影导演。所有人都笑，李安自己也笑，没人认为这是可能的事。 ”
尽管极力反对，临门一脚时父亲还是给他买了16毫米摄影机，闲在家里的6年，除了妻子的微薄收入，台湾的家也不时给李安接济。
李安把和父亲的关系比喻为相爱一场的缘分，他一生中唯一对父权的反抗是在读艺专时跑江湖式的演戏，回家后晒得黑黑，父亲说他。那时李安已20多岁，他站起来进屋。“我离家越远，我的能力越强，一接近父亲，人就蔫了，做事也不灵光了，想到我连大学都没考上，就会有一种自卑感，他越壮，我越弱，他越年老力弱，我就感觉自己越来越壮了。”在《绿巨人浩克》里，李安特意安排了一场戏，把父亲的影像用中子弹炸开，意外的是父亲居然说喜欢。
头两年李安都落榜了，李岗说哥哥那时有点“疯疯癫癫，连父亲都不大敢招他”，派李岗作跟班看住他。在台南车站，目送着比李安成绩还差的一些同学上车，李岗听到一阵哭声，回头一看是哥哥。李安很烦参加授予荣誉博士的过程，来回要耗上3天，但第一次被纽约大学授予的时候，他非常开心，因为父亲希望看到这一刻。
拍到第8部电影时，李安才摆脱父亲的影响，连行走坐卧都会带给李安压力的父亲也过世了。父亲走的那天是情人节，李安很悲伤地打电话过去，家里请的女佣正在放很好玩的流行歌曲，“我收到的是很有喜感的一个信息，所以人生是混杂的，悲剧和喜剧看你怎么看，我觉得好像也不应该这么分，人生毕竟不是一个剧，一个剧有始有终，你的感受有一个很具体的东西，我觉得人生是很复杂，不是喜剧，有时候有戏剧感，可是毕竟不是喜剧。 ”他在第二天决定接拍《断背山》。据《三联生活周刊》报道