2005-2006赛季,艾弗森个人场均得分创新高,达33分,不过76人却无法打入季后赛。76人球队管理层眼见球队成绩久久未有突破,而艾弗森亦与球队管理层存在矛盾,于是在2006年12月20日,他被送往丹佛掘金队以交换安德烈·米勒、乔·史密斯以及两个首轮选秀权。结束了艾弗森在76人效力的十年生涯。
2008年11月,艾弗森被交易到活塞队,表现抢眼,并打败了开赛连续11场不败的湖人队。该赛季常规赛末段,由于不满活塞主教练迈克尔·科里(Michael Curry)将其贬为替补的决定,艾弗森与球队决裂,活塞管理层借口伤病将他排除在季后赛出场名单外(后因报名人数限制原因进入名单,但从未出场)。由于他的打球风格跟强调团队合作的活塞队完全不和,导致球队战绩渐渐的从东部联盟第4、第5、渐渐跑到第7、第8。之后到了2月,还出现了从1994-1995球季后的首次8连败在第8败时,艾弗森还因背伤提早下场,但神奇的是在他没上场比赛后,活塞打倒了东部联盟第3的魔术,终止8连败,并在之后的比赛分别打败东部联盟第2的凯尔特人,西部联盟第3的掘金,之后的比赛艾弗森变成了第6人,这也让他非常不高兴,到了常规赛最后一个月,艾弗森又因为背伤复发而提早放暑假,而活塞以东部联盟第8种子进入季后赛,在第1轮就被骑士队4-0横扫回家。