回香閣位於華嚴嶺上，華嚴嶺是由九華街蹬道上天台必經之嶺，昔日香客朝天台後多有在此燒回頭香的習慣，故有寺名「回香閣」。
回香閣始建於明代，歷代屢毀屢建，現存建築為90年代建造。大雄寶殿為宮殿式，重簷翹角，內供華嚴三聖，毗盧佛、文殊、普賢、二十四諸天等塑像。 
回香閣西南有一株高13公尺，干圍2公尺的迎客松；東南谷地有華嚴井，口面直徑約1公尺，甘泉清冽，久旱不涸。山門殿前置福建青潮石大型觀音壁石雕三幅：正面《千手千眼觀音》，高4公尺，寬8公尺，扇形結構，刻有「大悲咒」；東為《飄海觀音》刻有「心經」；北為《紫竹林觀音》正面篆刻「百福百壽」字圖，背雕《九龍壁》。由回香閣登道南上有萬佛塔，全部由黃銅鑄成，耗資9000萬人民幣，在群山之間金光四射，奢華壯麗，國內罕見。