人們為了紀念五位仙人，建造了五仙觀，塑五仙騎羊像，奉祀觀內。五仙觀還保留有宋代至清代的碑刻14塊，石麒麟一對。原有五仙塑像，年幼的在中間，手里拿著稻穗，年長的四位在左右，手里分別拿著黍、稷等谷穗。 五仙像下面的五頭羊，大小相交，毛色斑駁。
行往后殿東側，可見裸露的紅砂巖層上面有一巨大的腳印狀凹穴，古人以為是仙人足跡。其實在晉代以前，這里還是江邊，人稱“坡山古渡頭”，凹穴是古時珠江洪水期的急流沖蝕而成的。明清兩代，分別以“穗石洞天”和“五仙霞洞”列入“羊城八景”。
中國古代文字中“羊”通“祥”，“吉祥”也可寫作“吉羊”。中國傳統的美學觀念是“羊大”為“美”。在亞洲許多國家的傳統文化中，“羊”也是吉祥之物，能給人帶來幸運。千年前的“五羊銜谷”傳說，使得“五羊”成為廣州城市最為知名的一個標識。