五十年代末期,顾嘉辉在湾仔仙掌夜总会和东英楼的一家夜总会里担任琴师,并组成了一支小乐队,乐队名称就叫“顾嘉辉大乐队”。1961年,美国波士顿栢克莱音乐学院(Berklee College of Music)的校长在夜总会听到顾嘉辉的表演后,主动为他申请一笔奖学金,邀请他前往深造,这也得到了邵逸夫的大力支持与资助,于是顾嘉辉负笈美国, 接受了为期二年的音乐训练课程。在同一年进修期间,顾嘉辉以作品《梦》参加电影《不了情》的作曲比赛, 结果脱颖而出, 成为该片的插曲,这也是他在乐坛初露头角。1963年,顾嘉辉学成归来后,开始为邵氏、嘉禾等电影公司作作曲、编曲、配乐等工作,并于1965、1967、1977年凭《万华迎春》、《何日君再来》和《秋霞》三次获得台湾金马奖最佳音乐,至今仍然为获奖最多的音乐人,当时其它出色的电影作品还有《明日之歌》、《明日天涯》、《小云雀》等。
与他合作的填词人有很多,其中黄沾与他合作最多,两人合称为“辉黄”。1998年、2000年,顾嘉辉和黄沾两次举办演唱会,邀请多位实力派歌手,反响空前,随后还带领众实力唱将赴广州、美加以及东南亚等地登台演出。