鐵門關曾是南北疆交通的天險要衝，古代「絲綢之路」中道咽喉，南通焉耆，北上車師，館驛就設在兩座山的夾谷之間，旁邊即是水流湍急的孔雀河。晉代在這裡設關，因其險固，故稱「鐵門關」，為中國古代二十六名關之一。
《水經注》中稱鐵門關所在的峽谷為「鐵門關」，後人叫它「遮留谷」。鐵門關自古以來就是兵家必爭之地，關旁絕壁上還留有「襟山帶河」4個隸書大字。如今關旁山坡上還留有古代屯兵的遺址。西漢張騫銜命出使西域曾路經鐵門關，班超也曾飲馬於孔雀河，故而人們又稱孔雀河為「飲馬河」。唐代邊塞詩人岑參登鐵門關曾賦詩一首：「鐵關天西涯，極目少行客，關旁一小吏，終日對石壁，橋跨千仞危，路盤兩崖窄。試登西樓望，一望頭欲白」。
現在看到的鐵門關城樓為新修建的仿古磚木門樓，門樓一側的山上還有新疆阿古柏時期留下的彈藥洞。過門樓往裡走即是後人在孔雀河上修築的水電站，還建有水上遊艇等娛樂設施。