潘安出身儒學(xué)世家。少年時，隨父宦游河南、山東、河北，青年時期就讀洛陽太學(xué)，二十余歲入仕，供職權(quán)臣賈充幕府，后歷任京官，因作賦頌揚(yáng)晉武帝躬耕藉田顯露才華被當(dāng)權(quán)者左遷河陽縣令(今洛陽吉利區(qū))，潘岳負(fù)其才而郁郁不得志。時尚書仆射山濤、領(lǐng)吏部王濟(jì)、裴楷等受寵，潘岳很憎恨他們，于是在宮殿大門柱子上寫下歌謠：“閣道東，有大牛。王濟(jì)鞅，裴楷鞧，和嶠刺促不得休。” 又被左遷離洛陽更遠(yuǎn)的懷縣做縣令。潘岳做得有聲有色、政績斐然，朝廷提拔他到京城做財政部官員，后來因為犯事被免職，不久被太傅楊駿引入門下做了太傅主簿。后來太傅楊駿被害夷三族，潘安作為幕僚也在被誅之列，幸虧當(dāng)時他公事在外又有當(dāng)權(quán)者、楚王的心腹、他的好友公孫弘替他說話（潘岳曾在他貧困潦倒時幫助過他），他被調(diào)往長安做縣令，因為母親生病辭官奉養(yǎng)，在此期間與好友石崇附會賈充外孫賈謐，之后升遷做了黃門侍郎，賈謐開閣延賓，召集天下文士潘安、石崇、陸機(jī)、左思、劉琨等二十四人，因文采蓋世被稱為“魯王二十四友”。他們經(jīng)常活躍在巨富石崇的金谷園里，因此也被稱為“金谷二十四友”。賈謐“晉書斷限”的功勞是潘安出的主意，潘安的母親經(jīng)常勸他不要趨附不已，他雖然口頭受教，實(shí)際上卻愈發(fā)不知足，始終改不掉。之后趙王司馬倫囚禁晉惠帝自立為帝，他的親信孫秀當(dāng)上了宰相。原來當(dāng)初孫秀不過是個下人小吏，潘岳的父親曾經(jīng)做過他的上司，當(dāng)時潘岳因為看不慣孫秀為人狡黠經(jīng)常鞭撻他，如今孫秀得勢遂羅織罪名說他和石崇要和某王爺一起造反，于是他和石崇等人被誅滅三族，當(dāng)初孫秀當(dāng)上宰相，潘岳在朝堂上遇見他，問道：“孫令猶憶疇昔周旋不”（孫宰相還記得當(dāng)初嗎）孫秀回答：“中心藏之，何日忘之！”潘岳于是自知不免。當(dāng)初被收押，石崇和他都不知道對方也在其中，石崇已經(jīng)送往菜市場，潘岳后至，石崇對他說：“安仁，怎么你也來了！”潘岳回答道：“可謂白首同所歸。”潘岳《金谷詩》云：“投分寄石友，白首同所歸。”本意是說兩人關(guān)系很鐵，老了還在一起玩，誰知到竟然成了他們死亡的預(yù)言。潘岳的母親及兄侍御史潘釋、弟燕令潘豹、司徒掾潘據(jù)、潘詵，兄弟之子，已經(jīng)出門的閨女，無長幼一時被害，唯潘釋的兒子潘伯武逃難得免。而潘豹的閨女與其母相抱號呼不可解，于是被赦免。