1896年，日本強迫清政府允許其在廈門設立專管租界，1896年，日本政府派上野專一到廈門任領事，當時要求他在建立領事館的時候要滿足兩個條件：1、靠近英國政府；2、靠近廈門。
所以他就選址在鹿礁路26號，緊靠英國領事館（幾乎正對鼓浪嶼碼頭），當時應該英國最強大，所以當時日本什麼都刻意學英國，所以這個建築雖由中國設計師設計，但建築是英國風格，屋頂是中國風格。
1928年，日本在領事館側面建立兩棟紅樓（為日本式建築，和東京大學的建築非常相似），作為其警察本部，抗戰期間，這裡的地下室監獄關押了很多抗日誌士，至今，牆壁上仍可看到當時被關押的抗日誌士留下的抗日標語和斑斑血跡。