2003至2004年NBA賽季對於艾佛森來說，應該是迫不及待希望早點結束，該季他不但因為傷病缺席34場比賽，更和賽季中半路頂替主帥職位的福特(Chris Ford)發生嚴重衝突，而七六人自從1997年後第一次沒有闖進季後賽。

2004年夏天適逢4年一度的奧運會，當時舉辦地點甚至回到發源地-雅典，但美國隊和去年美錦賽相比，陣容上卻做出非常大的變動。只有傑佛森(Richard Jefferson)、鄧肯(Tim Duncan)和艾佛森是當初原班人馬，其他新加入的成員中包括許多年輕球員，種下最後成績不盡理想的敗因。

以奪金最為唯一目標的美國隊最後僅拿下銅牌，艾佛森平均得分雖為全隊最高，卻難掩他的籃球生涯似乎逐漸轉往悲劇之路的開端。