文昌閣佔地理位置之優勢，成為溪口鎮上風景最優美的地方。它位居武山南端，剡溪之濱，南望溪南山色，俯視三里長街，八面臨風，一派大好風光。
文昌閣初建於清雍正九年（1731），因閣內供奉首奎星，故又名「奎閣」，有「奎閣凌霄」之稱，是清代溪口十景之一。1924年清明，蔣介石回鄉掃墓，見其年久失修、規模狹小，出資拆除重建，次年完工後建成了一座畫梁雕棟、飛簷翹角的兩層樓閣式建築，面積500平方米。蔣介石把它取名為「樂亭」，並作《武嶺樂亭記》來描述其美景。1927年12月，蔣介石和宋美齡結婚後每到溪口，常在此小住，成了他們的私人別墅。文昌閣一樓為會客室，二樓是蔣介石、宋美齡的臥室和起居室。
西安事變後的1937年1月13日張學良將軍被送到溪口軟禁，最先的落腳點也是文昌閣，住了10天後才移送到雪竇山。1939年12月12日，六架日軍侵華戰機轟炸溪口，文昌閣被夷為平地，現在的建築是1987年按原樣重建的。2006年，它被列入全國重點文物保護單位。