在家一直呆了10年,才复出到河阳(河南孟州)做县令。在这个地方,他做了一件很有风雅的事,就是在县里遍种桃树。
每到明媚三月,暖暖的春风迎面吹,桃花朵朵开。枝上是鸟儿成双成对,树下是潘帅哥风度翩翩。无数女性心醉神迷,为之倾倒。当时的人就用“河阳一县花”代称潘安,这也是中国最早“花样美男”的出处。
虽然才气横溢,但仕途却是一路坎坷。他在地方做得很出色,调到京城任财政部官员,因犯事被免职;复出到杨骏处做太傅主簿,杨骏不久又被杀,幸好有人替他说话,才免了一死。但贬到外地做县令。
幸好他才华溢满天下,贾谧听到了他的名气,把他调任黄门侍郎,让他加入了“二十四友”俱乐部,排在首位。贾谧自己就是大才子,但对潘岳的文笔却是钦佩不已,上朝的文辞多出自潘岳之手。所以贾南风诬陷司马遹的稿子也由他主笔。后人把他和才子陆机并列,合称“陆才如海,潘才如江”。