民國38年（1949年）大批國軍退守金門，大部分均借住於民房或屋主僑居南洋的空屋，以及各村落的祠堂、廟宇。長久與居民相處，難免會衍生一些男女感情糾紛，同屬外島的澎湖、馬祖亦有類似情事發生。經反映到國防部總政治作戰部後，獲准試辦「軍中樂園」，侍應生則向台灣各地的風化區召募。民國40年，也在金門朱子祠附近，設立金門的第一座「軍中樂園」，大約在民國47年後到50年之間，軍中樂園易名為特約茶室。金門特約茶室計有：金城總室，山外、沙美、小徑、成功、庵前、東林、青岐、后宅、大擔等分室，以及配合慈湖築堤工程而臨時設立的「安岐機動茶室」（工程竣工後隨即關閉），共11間。特約茶室展示館即是利用原有之「小徑特約茶室」的空間，陳展這一段歷史。