遗光寺初称龙泉庵，明代太监黄新创建，创建年代不详。正德二丁卯（1507），黄新名下张钦等人重修龙泉庵，正德皇帝赐名遗光寺，僧人宗思为住持。康熙四十九重修，光绪二十九年再次重修，寺额未改，沿称至今。今遗光寺仅存山门。

敕赐遗光寺记：
　　奉直大夫、左春坊、左谕德、翰林院侍讲、清宛傅珪撰文。
　　奉训大夫、鸿胪寺左少卿、前中书舍人、直文华殿、广阳仝泰书丹并篆额。
　　寺在都城之西北二十五里许，其里为太平，隶昌平州治，山川秀丽，草木敷荣，真胜境也。先为禅林，未有名焉。及御马监太监黄公新，捐俸纠工开其基，暨名下太监陈公贵，撤旧易新，承其事，请于廷，而赐额为龙泉庵。于时，亦未得为寺也。正德丁卯四月，同名下太监张公钦、卜公亨、张公福，皆以祀事，驻节于斯，因怅然相感而谓曰：“盛哉！吾先君黄公之志美哉！吾同家陈公之心何其忠爱，朝廷之重耶？是庵之设，惟在祝延圣寿，巩固皇图，劝化生民，作善者也。然庵虽美，而规模未甚广大，名誉未甚昭彰，吾侪可不协济其事，以成其美乎？”于是各捐己赀，增其式郭，筑基捄垫，饰墁磨砖，竖大势于四隅，立宏规于一望，广以房栊之森列，崇以殿堂之巍峨。画栋朱桶，极鸟革翚飞之美；高台峻宇，等竹苞松茂之坚。宝座森严，金容闪烁，旌幢掩映，炉烟氤氲。杂梵声于钟鼓，遐迩喧闻；霭炊焰于烟霞，朝夕继见。规宇焕然，一易世业，泰然奠安。而又请敕赐为遗光寺，举僧人宗思为觉义，擢宗印为住持。于戏，盛哉！盖至是而规模益大，声闻益彰，而黄公陈公之举，益有光矣。夫释氏轮回福利之说，其来尚矣。相传于古而大行于今，要亦必有所见者，今诸君子，崇之以侈其事，其忠爱王室之心，宁不重可取哉？吾知国朝宗社之奠安，生民之富庶，行当与天地相为无穷矣。谨识。
　　正德三年岁次戊辰春三月吉旦立石。