古炮楼遗址由主楼、地道、典当行遗址和古井组成。高七层，墙身厚度达到80厘米，本地称为“粽墙”。墙身的材料不单是沙、石灰和黄泥，还加入了炒过之后的糯米粉、红糖与沙、石灰和黄泥一起搅拌作成材料建成，使墙身更结实坚固、韧性更大。这座炮楼与新衙门建于同一时期，距今近两百年的历史。炮楼处于新衙门东北角的土坡上，把新衙门和老衙门连为一体。现在所看到的炮楼遗址只有三层，拆毁之前的炮楼有七层高，是“回”字形的楼层结构，中间是一个天井，四周由厚墙和木板砌成。每层楼设有“军火间”还有士兵休息的地方。炮楼里面布置有24门大炮，数百支枪，分布在炮楼四周大小不同的枪炮眼上，t望窗和枪眼遍布四周。 炮楼的北面是潘氏的典当行遗址。它是由潘氏十五世潘宝忠开设的，与新衙门建于同一时期。典当行和古井都隶属炮楼的一部分。典当行外门的门框是青石材料，坚固无比！每一道门都有几层保护，有门竖拦、门板、门竖栓、门横栓等等，外墙上有一排排的枪眼。 古井由炮楼的外墙包围着，在炮楼里面。古井挖于明朝的万历年间，距今有四百多年的历史，古井也是整个炮楼防御系统的一个重要组成部分，因为它使潘家人被敌人围攻时保证了村子里面几百户人家的用水需要,从而抵御了敌人的封锁。 地道设在炮楼里面，连接新衙门，长13米，四周由大青石板砌成，里面拾阶而上，结构牢靠。地道的入口在新衙门左边一条巷子尾部，出口有两个，一个设在炮楼里，另外一个出口在炮楼外面，仅容一个人进出，易守难攻。潘氏族人可以从新衙门地道出口直接上到炮楼，人力的支援、弹药的补充、粮食的供应都是由地道输送到炮楼里面，是古村落整个防御系统的关键环节。