鄭州文廟始建於東漢明帝永平年間(公元58-75年)，當時的文廟共有殿宇廊亭200餘間，東西有過街牌坊各一座，乾隆三年曾經大規模修建，光緒二年遭火焚，現僅存清代建築大成殿和戟門兩座古建築及幾間小廂房。
鄭州文廟曾是鄭州歷史最久、佔地最廣、規模最大的古建築群。元代初期的鄭州文廟佔地37畝，由前院、中院和後院組成。後遭焚燬，元順帝至正六年(1346年)，官署按照原來的樣式重建，明、清兩代亦多次重修，但清光緒二十二年(1896年)文廟再遭大火，建築幾乎焚燬殆盡。
現存的大成殿坐北朝南，殿宇雄偉高大、莊嚴肅穆。大殿頂面覆蓋綠色琉璃瓦，脊的兩端各有2米高的龍頭形構件，稱為「吻」，其意龍司降雨，是防火的標誌。大殿的東、西側面是「兩山」，有玉皇大帝、如來說法、八仙過海、戲曲人物等圖案，構圖精美、製作細緻。