三山自古有“七堡八姓五十堂”之称,意指全岛七个“堡”(自然村),分别是:桥头堡、上横堡、下横堡、东泊堡、小姑堡、西湖堡、山东堡,每堡聚居几十户人家。姓氏中大姓有八个:吴、秦、查、潘、许、张、黄、薛;大户人家共有五十余户,均建有深宅大院,题有堂号。
根据康熙《具区志》所载,三山岛历史上人口最稠密时期为清康熙年间的“三十六都在三山、泽山、厥山统图属洞庭乡,户612,人口3012。”1950年,据太湖办事处统计:“三山直属村有户165户,人口598人”。至2020年,有户284户,人口765人,其中男368人,女397人。
据2020年统计,全村765人中,90岁以上老人8位,是太湖流域的“长寿之村”之一。