开封铁塔坐落在开封城内东北角铁塔公园内。这里原是北齐天宝十年(公元559年)所建独居寺，宋太祖开宝三年(公元970年)改名开宝寺。全寺包括福胜、上方等24院、280个区，是北宋都城东京最大的寺院之一。北宋历代皇帝经常到寺内祈祷，并在寺内举行科举考试。许多外国佛教徒也前来瞻礼。
开宝寺福胜院内有建于公元982年的一座高大木塔，是著名木工喻皓设计监造的，为当时东京诸塔中最高、最好的一座。公元1044年夏，木塔被雷火焚毁。为供奉佛舍利和预防火灾，北宋皇祜元年(公元l049年)在开宝寺上方院内夷山上，用琉璃砖瓦仿照原木塔式样又砌造了一座宝塔。因塔身呈铁褐色，俗称铁塔。夷山原是一个面积较大的土丘，宋金以后黄河多次决口，洪水入城，夷山被逐渐淤平了。金兵入城时，寺被火烧，只有这座塔保存下来。开封铁塔以精湛的建筑艺术闻名中外。塔平面为等边八角形，底层每面阔为4.16米，向上逐层递减，共13层。层层四面开窗，一层向北(为塔门)，二层向南，三层向西，四层向东……为明窗，逐层变换方位，其余全为盲窗。塔身外壁用28种不同造型的褐色琉璃砖砌成，砖面花纹、图案达50多种，有飞天、麒麟、坐佛、伎乐、立僧、宝相花等，造型优美，活泼生动。塔身的梁柱、斗棋、檐子、门窗、瓦件等等全部用琉璃砖砌成。不同部位、不同形状的构件像经过加工的木料一样，有榫、有眼，安在一起，正好合缝。整座砖塔仿木结构，挺拔华丽，飞檐凌空，塔上104个挑角龙头下的铁铃迎风摆动，叮咚作响。
开封铁塔原有基座已被淤埋，现在塔高55.88米，是我国现存琉璃塔中最高的一座。塔内砖砌登道围绕塔心柱盘旋而上，共有168层台阶。登临塔顶，目力所及可以直接青云，因此，“铁塔行云”位居汴京八景之首。
由于铁塔设计精密，结构牢固，近千年来虽历经无数次狂风、暴雨、水冲、地震等自然灾害以及人为破坏，但至今依然挺立在开封城内，成为开封城徽，是开封人的骄傲。
1938年，日军攻打开封，铁塔遭到炮火轰击，塔身一隅受到损坏。1957年，对铁塔采取“整旧如旧”原则进行了全面修复工作。铁塔及附近古迹，经过修茸，开辟为公园。如今新落成的“接引殿”与古塔遥相呼应，成为古城新景之一。