直到2004年9月6日,雅典奥运金牌选手访港表演,霍启刚郭晶晶才开始相识。当时,霍启刚借父亲是香港奥委会主席之便,频频出现在任何有郭晶晶出席的活动。在香港金钟酒店的欢迎晚宴中,霍启刚更扮粉丝亲近郭晶晶,要求合照。随后,郭晶晶承认霍家公子正热烈追求她。
同年11月15日,有记者看到霍启刚和郭晶晶在香港的浅水湾公然牵手漫步沙滩,两人还共饮一个椰子。11月,从海南三亚飞往北京的飞机上,郭晶晶霍启刚同行也被认出。当晚飞机抵达北京机场后,郭晶晶答应了记者的拍照要求。尽管霍启刚并不十分配合,但两人已明显不似以前那般避嫌,就此,两人爱情长跑正式展开。
但与郭晶晶交往的这段期间,霍启刚的绯闻从未间断。2006年,他被媒体拍到与当时21岁的TVB艺人李绮雯于夜店一起看世界杯,通宵狂欢,被疑劈腿。而李绮雯后接受采访时否认绯闻,但又自称“各方面都比郭晶晶强”。2010年8月,有媒体报道称,霍启刚疑似移情美女主播赵彤,拍到两人频频约会唱K的画面,而当时那段时间,霍启刚与郭晶晶却鲜有齐身露面,屡传婚讯亦未见行动。但这些绯闻,随着时间流逝,慢慢化为泡影,霍启刚与郭晶晶喜结连理,走入婚姻殿堂。