白衣庵建于唐代。据平安城客氏祖上传说，唐王征东时，唐太宗李世民驻跸报国寺疗疾养病，由于喝了“闻泉香”的井水，很快得以痊愈。李世民对此地产生了深厚的感情，便命东征部队士兵建了一座城池，九座城门楼都是青砖砌成，城墙是土筑，城池建好后，唐王特意赐名“平安城”，并亲点东征军中客、董、张、刘、于五位官员率一部官兵在此城留守，还赐给客氏金银，建造一座很壮观的客府，客府建在了南门里路东，路西是客府的柴园。一天傍晚，一位白胡子老者用独轮车推着一尊南海大士菩萨佛像，路过柴园子门口，停车进门对看园子老头说,“我是过路之人，天色已晚，我想将佛像寄存贵宝地可否”？看园子老头回答：“可以”。随后只见白胡子老者腾空而起，驾云而去。此情此景，看园子老头感到惊奇，立即前往客府向主人如实禀告，主人听了柴园老头诉说的事实经过后，意识到这是神仙送佛上门，必须敬奉，便在柴园内大兴土木建筑庙宇，将南海大士菩萨供奉在新建的大殿之内，因南海大士身穿白衣，这座庙称为白衣庵。后来，客府在柴园内还建造了客氏祠堂供奉列祖列宗，所以又称客氏家庙。这就是白衣庵的来历。