衡岳寺在紫云峰下，梁天监2年建，原名善果寺，为海印尊者道场。南朝陈改大明寺，隋大业中复名衡岳寺，并诏建舍利塔。李志载：“传说，唐初徐敬业兵败后潜逃来此出家，法名住括，死前向寺众宣称‘吾乃徐敬业也！’并称，前此被朝廷杀了的徐敬业，为其外貌相似的近侍云。”后寺废，明湛甘泉于其遗址下建“甘泉精舍”，现为岳云中学校址。烟霞峰下亦有衡岳寺，为明代正统年间建，亦早废圮。