，原名荔香园，是为园中遍植荔枝树之故。园门悬匾额“海山仙馆”，并有一副名联“海上名山，仙人旧馆”。联、匾为两广总督耆英所书。故多称此园为“海山仙馆”。园内仿江南园林，建有眉轩、雪阁、小玲珑室、文海楼等，垣绕四周，有游廊曲榭，沿壁遍嵌石刻，皆晋唐以来名迹，当代名流翰墨，令人目不暇接，如游碑廊。
潘仕成在海山仙馆内收藏了不少古玩文物，包括许多宋元版本的古书和汉晋碑帖，其所藏金石、古帖、古籍、古画有“粤东第一”之称。海山仙馆以其浓郁的岭南园林特色和与众不同的文化品位，吸引了许多风流名士。近人冼玉清谓其“一时墨客骚人，文酒之会，殆无虚日”。
由于潘仕成的特殊身份，海山仙馆不仅成了一处显贵来往、文人酬唱之处，还成了外交场合。潘仕成以绅士、富商身份，协助在粤大员办理夷务外交，参与会见外国使者和谈判活动。海山仙馆成了清朝高级官员一处非正式的接见来自欧美外交使者和商人的场所。琦善会见义律、耆英接见法国驻广州领事拉地蒙冬、美国首任驻华钦差大臣义华业向耆英递交国书的仪式，均在该馆举行。
但是世上没有不散的宴席，官场、商场之争更是激烈莫测。潘仕成既以官绅身份经商，虽善经营