白云寺原名白云庵，民间称之为白云仙。元代及元代以前原是个默默无闻的山野小庵，到明代洪武年间（1368~1398），声名鹊起，香火兴旺。原因是曾任云南镇守使的段文看中了这块地盘。段文，字思丰，朱元璋定鼎天下后，时任茶陵卫千户的段文被征调云南戍守，屡建战功，授明德将军，洪武十九年（1586）晋升武德将军。据说段文年青时，有一次登微峰途经白云庵时，忽然听到一声巨响，只见紫微峰山腰崩裂，露出一个巨石，象威武的将军屹立山腰。茶陵民间流传一句话：“云阳山笑，将军出。”茶陵方言把山崩裂说成“笑”。
　　段文受到惊吓，不知是祸是福，便进白云庵抽了一签。和尚见他抽的是上上签，连连祝贺：“恭喜恭喜：‘云阳山笑将军出’这句话要在你身上应验了。”他听了和尚讲的这番话，还是不太相信。和尚说，紫微峰是云阳山的灵峰，白云庵座落在紫微峰下，是灵峰的基座。在这里遇见“云阳山笑”，是会应验的。段文从此有个想法，若有出头之日，一定要重建白云寺。
　　洪武二十年（1387），段文解甲归田后，捐银三千两，重建白云寺，劝捐庙产田400多亩。白云寺从此红火起来，僧侣最多时有两百多人。现在的白云寺是1992年、2008年按原有形制分期修复的。