1926年,林去病、叶子午受中共温州独立支部指派回家乡瑞安发展党组织。他们到瑞安后,先后吸收进步知识青年戴义、徐泽民、郭演九、陈明达4人入党,并于同年11月在瑞安城区小东门外两面河东北侧的话桑楼成立了中共瑞安小组,这是瑞安地区最早建立的中共党组织,归中共温州独立支部领导。此后,林去病等人进一步在城区和农村发展党员,先后建立城区、莘塍、肇平垟和仙降党支部。1927年2月,瑞安党组织扩大后,中共瑞安小组改建为中共瑞安特别支部,其办公地点仍设在话桑楼。话桑楼成为瑞安党组织的重要活动场所。中共瑞安小组成立遗址话桑楼,又名飞云阁,位于瑞安市玉海街道小东门街,建于清光绪二十四年(1898年),由居官退闲的黄体芳等人兴建。此阁面阔五间(14.7米),进深七架(11.5米),共两层,占地面积约200平方米,建筑面积约300平方米,建筑显示晚清时期的特色。解放后,话桑楼被原瑞安县人民政府列为第一批文物保护