大杰寺始建于明崇祯五年（1623年），由武当山慧庵大师在此结茅而居。传说中此山的护法玄帝菩萨过去的道场是在中路铺岳武亭。当时正德皇帝在南岳庙祭，留宿在岳武亭，夜得一梦，梦见玄帝菩萨对自己说：“岳武亭的来往人丁比较多，繁华而复杂，不想在此地居住，欲迁往五龙山。”正德皇帝在梦中惊醒，翌日便前往五龙山，在山下巧遇一蛇引路，到了山腹地带一小寺处，蛇即盘踞不再前行。正德皇帝始知玄帝欲建殿于此，回宫后。下诏赐香火田360亩，并命吉、桂二位藩王捐资兴建庙宇。初建时有武正殿、岳圣殿、观音殿等。三层正殿之后，陆续增建无量佛殿、西林禅堂、云水堂、东林僧禅院等大小房屋120余间。
    大杰寺坐北朝南，重峦叠嶂，林深树密，浓荫蔽日，近拥石马，古岳诸峰，远眺晓霞，衡岳。温凉适宜，是个善信问佛和避暑纳凉的好去处。
    大跃进时，大杰寺被毁劫一空，文革时又雪上遭霜，一度改为乡村的林场。拨乱反正之后，正通人和，百废俱兴。1994年有僧尼纯容入山，后有晓忏老法师率徒唯静自长沙铁炉寺来山驻锡，四处化缘募捐，重新修复大寺，历经数年，耗资300多万元修建了大雄宝殿、山门、围墙、东西寮房、斋堂以及念佛堂等50余间。寺周始又苍松翠柏掩映，绿荫成林，鸟语花香。香熏缭绕，风铃阵阵，实乃一片尘世净土，人间梵宫。
    重建大杰寺后，经湘潭县人民政府批准，此寺已列为湘潭市重点佛教活动场所，