文庙遗址黉宫，亦称学宫、孔庙，明正德五年（1510年）建于城东门外，明嘉靖十三年（1534年）知州陈世瞻迁入城内东隅。清咸丰六年（1856年）道宪-，知州武卫会同团绅迁于今地（现县文工团驻地），有正殿、后殿、泮池、五框、乡贤名宦祠等。正殿屋脊双龙戏珠，青瓦红砖、雕梁画栋，金碧辉煌。1981年，因改建，将唯一留下的正殿拆掉。

刘永福父墓黑旗军首领刘永福父刘以来之墓，位于那明村，葬于清咸丰六年（1856年）。清政府曾于墓地四周各距数百米地建有5处牌坊，镶嵌越南皇帝和清朝皇帝分别赐给的“浩封”碑。民国后期，牌坊均倒塌。1985年6月，县文管所给刘以来墓立碑，并于墓旁立文物保护标志一处。