2004年,张杰参加了上海的“莱卡我型我秀”。历经选拔,凭借着和苟伟合作的原创歌曲《北斗星的爱》,获得了年度总冠军。之后,他成为环球·上腾签约歌手。
2005年春季,张杰推出了他的首张专辑《第一张》,并凭借成名曲《北斗星的爱》获得全球华语歌曲排行榜最受欢迎新人奖、TVB全球华语歌曲金曲榜最佳男新人金奖等多个奖项。
2006年,张杰发行第二张专辑《再爱我一回》,并首次涉足影视,担任校园电影《化学反应》主演之一。之后,张杰由于经纪公司高层人事变动事业陷入低谷。
2007年,张杰参加了《快乐男声》比赛。同年推出EP《最美的太阳》。这张EP共收录了4首歌曲,销量突破10万。
2008年5月1日,张杰在北京举办首场个人演唱会。同年10月,张杰推出专辑《明天过后》。11月15日,张杰凭借专辑《明天过后》的表现获得第六届特步东南劲爆音乐榜的内地最受欢迎男歌手奖。