叶氏宗祠是桃源村最大最雄伟的建筑，明清时期风格，气势沉稳庄严、宏伟壮观，结构上飞檐斗拱、雕梁画栋，极富华彩，曾四次扩建，翻修的次数难计，最后一次大规模的扩建还是在二十年前。
宗祠分大殿、后殿、左殿和右殿，中间还有一个练武场，全部加起来占地八亩之广！
之所以这样大，一是叶氏注重祭祀祖先、传承香火外。
二是因为中间有一个占地两亩的练武场，叶氏向来对祖传的武学秘而不传，还有“传子不传女”的说法，练武的时候不愿显露给外人，甚至是家人，必定要到练武场。
其三，则是南越岭一带民风彪悍，每逢乱世之秋必结寨自保，以防土匪、流寇和乱兵，桃源村的人是将门之后，又通上乘拳术，每到这时，必定被周围的村寨推为首领，这宗祠还承担着聚义厅、议事堂的的职能，于是成了叶氏的脸面，大修特修。
直到现在，不管是有重要的事情需要全村人商议，还是办红白喜事，都会到宗祠去。
宗祠在村子中间地势最平坦的地方，大门前还有一个广场，四周遍植古树，绿荫成片。
这片广场也是村中老人最喜欢聚集的地方，茶余饭后、有空没空都会来这闲聊、下棋