京条约》规定开放广州、上海等五口为通商口岸，英商“应纳进出口货税饷费，均宜秉公议定则例”。次年，中英在虎门签订了《五口通商附粘善后条款》（即《虎门条约》），并附《海关税则》，对出口货物分类定出税率。15年之后，第二次鸦片战争期间的咸丰八年（1858年），清廷在直逼天津的英法联军炮舰威吓下，签订了中英、中法《天津条约》，后又在上海，与英、美、法等国分别签订了《通商章程善后条例》，修改税则，降低税率。潘仕成奉召谈判涉及广州通商之事，可见其作为商界人士在政界之地位。此后，他就“归而养疴里门”，再不复出了。
潘仕成在地方被誉为“轻财好义，地方善举资助弗吝”。一是赈灾济贫。广东地区常有灾情，潘仕成不止一次捐资赈灾，还倡种牛痘，建议官府、亲友推广种牛痘，并为之代购进口种痘洋刀，输送洋痘种。各方人士和受患者均赞其“功德无量”。至于日常故交知己需扶贫济困，或婚丧嫁娶，或缺医少药者，他都乐意慷慨相助。
和许多成功发家的中国商人一样，潘仕成随后大起园楼，修建了自己的奢华庄园海山仙馆。“自道光九年（1829年）至同治五年（1866年）止，前后延续三十七年。”这处园馆筑于广州西门外泮塘