吕祖宫位于乌山弥陀寺西侧，占地200平方米左右，始建于清光绪7年。

吕祖宫现有建筑为前殿（今为乌山画院）、正殿、厢房、天井等。昔时宫内道具、法器齐全，经藏、书画丰富。"文革"中遭冲击，尽毁无存。落实宗教政策后，宫殿得到修复。奉祀孚佑帝君吕洞宾塑像，成为道教宫观。吕祖宫碧瓦红墙，梵钟苍松，给优美的自然环境增添庄严肃穆的色彩。吕祖宫面向两塔（白塔、乌塔），为山中最佳凭眺处。宫的周围亭台楼阁、名人题词、崖刻众多，宫前还有造型逼真的李铁拐塑像，葫芦瓶里日夜喷射晶莹的水柱，每天都有许多游客驻足观赏。