开宝寺，前身出现于北齐天保十年（公元559年），一僧人游历到开封城东北角的夷山落脚，在这个被自己认为是理想的“阿兰若”的地方搭起简陋居所，并给这个小舍取了一个儒雅的名号，独居寺，始燃香火。一百七十年后，这个简陋小寺迎来一位贵客，唐代开元十七年（公元729年），唐玄宗李隆基驾临泰山封禅后返回途中经过汴州，恰在此短暂停留，玄宗皇帝闲游中偶然走进独居寺，见寺中过于寒酸，这位曾经在开元二年下达禁止再造新寺，禁止铸造佛像，禁止传抄佛经等压制佛教活动禁令的玄宗皇帝，居然做了一个让人意外的决定，下诏整修独居寺，并因泰山之行，御赐名为封禅寺，简陋茅舍一下子变成了皇气十足的正规寺院。到了北宋开宝三年（公元970年），开国皇帝赵匡胤下诏，以自家年号为名，改封禅寺为开宝寺，以皇帝年号命名寺院，这在历史上是不多见的，并从国库拨款扩建，明代李濂在《汴京遗迹志》中记载：“开宝寺重起缭廊，朵殿凡二百八十区”。当时开宝寺规模宏大，建有24座禅院，如今河南大学明伦校区基本都是开宝寺的领地。当年决定在“阿兰若”停留的那位僧人怎么也不会想到，自己建起的茅屋，在四百年后竟如此辉煌。
　　如今，夷山已不在，开宝寺已不在，塔所在的地方，叫做铁塔公园。佛塔因建于开宝寺中，得名开宝寺塔。
    古印度摩揭陀国的国都王舍城大宝塔阿阇世王分得的释迦牟尼佛祖舍利取出，分藏在八万四千个小塔内，送往各地，其中一部分传入中国，现今浙江宁波阿育王寺是一座西晋时期的寺院，就是因得到一部分佛祖舍利而建，五代时期，吴越王钱俶将阿育王寺佛舍利迎入杭州罗汉寺供奉，后来北宋军队逼近，吴越王降宋，佛舍利被迎入东京汴梁，在大内滋福殿中供奉，北宋太平兴国七年（公元982年），太宗皇帝赵光义诏令造舍利塔，把这一任务交由当时的著名建筑师，吴越国西府（杭州）人，都料匠喻浩主持建造，他细致构思，精心设计，前后历时八年，于太宗皇帝端拱二年（公元989年）建成，塔身木质，8角13层，塔高36丈，宋代的长度单位较现代略短，当时每丈等于316.8厘米（现代一丈是333.3厘米），按照这个记载，当时的木塔高达110余米，号称“京城之冠”。