鄭州市第三十一高級中學始建于1965年8月。1965年9月1日招收第一屆學生，只設初中班，共招學生6個班、300人。

1971年1月，與一墻之隔的鄭州市第三十五中學合并，校名確定為“鄭州市第三十一中學”。合并后學校設30個教學班，學生1500余人。

1979年，學校實行高中、初中分段教學，初中19個，高中12個。

1985年春，中共鄭州市委、鄭州市人民政府授予鄭州市第三十一中學“文明單位”稱號。

1993年，學校被定為鄭州市教育科研試點學校，1995年被市教委命名為“全國千所學習指導實驗研究學校鄭州分校試點學校”。

2001年以來，學校連年被市教育局評為教育教學工作先進單位。

2004年底，鄭州市人民政府授予我校“鄭州市教育工作先進集體”榮譽稱號。

2010年，中共鄭州市委、鄭州市人民政府命名鄭州市第三十一中學為鄭州市“文明單位”。（鄭文〔2011〕136號命名）

2011年4月，市教育局對鄭州市第三十一中學、鄭州市第一〇三中學兩校實施整合，兩校教職工、教育教學資源統籌管理使用；初中學生全部安排在鄭州市第一〇三中學、高中學生全體安排在鄭州市第三十一中學開展教育教學。

2014年，中共鄭州市委、鄭州市人民政府再次授予鄭州市第三十一中學“文明單位”稱號（鄭文〔2015〕68號命名）。2015年，鄭州市第三十一中學被河南省委、省政府命名為河南省文明單位（豫文[2016]64號），2020年被河南省委、省政府命名為河南省文明校園（豫文[2020]43號），

2019年11月，為貫徹落實《鄭州市人民政府辦公廳關于印發鄭州市調整理順教育管理體制實施方案的通知》（鄭政辦〔2019〕61 號）精神，鄭州市第三十一中學實行初中、高中分級管理，2020年正式更名為鄭州市第三十一高級中學，開展普通高中教育；原初中部移交金水區政府管理。

2023年鄭州市第三十一高級中學被河南省委、省政府命名為河南省文明校園標兵（豫文〔2023〕50號）。

2021年5月，根據《鄭州市教育局關于印發 2021 年普通高中、普通中專、中等職業學校招生工作意見的通知》（鄭教辦〔2021〕19號），鄭州市教育局將鄭州市第三十一高級中學確定為鄭州市中招第一批次錄取學校。

近年來，我校榮獲全國品質課程示范校、全國攀巖特色學校、全國青少年校園足球特色學校、河南省師德師風建設先進單位、河南省中小學德育工作先進集體、河南省中小學書香校園、河南省心理健康示范校、河南省語言文字工作示范校、河南省書法教育示范校、鄭州市平安建設基層示范單位、鄭州市健康細胞示范單位、鄭州市衛生先進單位、鄭州市智慧教育示范校等榮譽。