丹霞寺始建于唐代贞元年间（785—804），是石头和尚弟子丹霞禅师所建，故以丹霞名寺。丹霞又名天然，故又名天然禅寺。住持僧醒悟于民国24年（1935）重建，有山门、正殿、后殿、两进房共25间，石墙铁瓦，山坊上刻有“丹霞寺”，为衡阳蒋铨衡书。现在的丹霞寺，依次为山门、五岳圣帝殿、后殿，正门下临空旷，可以眺远，门额曰“丹霞寺”是民国年间新刻。清末，寺僧玉洁塑了五岳圣帝神像于前殿，千斤铜佛迁到后殿的“七一遗址”。前殿侧开一门临登山大路，而于门额题曰：“五岳殿”，以招来朝圣的香客，由是八月香期，香客们均入殿朝拜五岳圣帝，香火也就旺盛起来了。现在五岳圣帝像和后殿的佛像都是80年代落实宗教政策后新塑的。后殿为“七一遗址”，相传丹霞在此地与其友、居士会晤，相见时，庞就地画个“七”字，丹霞即于下画个“一”字，因曰：“因七见一，见一忘七。”故名“七一遗址”。现“七一遗址”，原碑尚嵌于殿壁。