湘南寺在丹霞寺上一华里，傍登山公路，它是唐代智通、天然两和尚坐禅的地方，为唐代古刹。后来院宇圮废，明嘉靖23年（1544）重修。现在寺院石墙铁瓦，则是1935年住持僧醒悟所修。1946年寺壁还存明宰相严嵩手书诗二首。1983年南岳管理局又重修。寺右侧有贯道泉，附近有大悲洞、文殊洞、隐松岩等古迹。站在寺门石阶上，视野开阔，远眺湘江如练，下瞰群峰如螺，四周云山掩映，风景宜人。