康有為是清末維新運動的主要領導人物，維新變法失敗後便流亡海外，到辛亥革命後又回到中國。1923年康有為來青島後便買下此樓居住，並對此院十分滿意，說「青島此屋之佳，吾生所未有」，「此屋卑小而園甚大，望海碧波僅距百步」。由於溥儀曾贈給康有為一個堂，名叫「天游堂」，所以康有為將這裡取名「天遊園」，自此康有為每年都要在此住一段時間，直到1927年3月31日病逝於天遊園。
該園始建於1899年，是一座德式磚混結構的3層樓房，德國佔領青島時期是德國駐青島總督府要員的官邸。房屋為磚木結構，內部傢俱陳設為清朝第二代恭親王溥偉所贈。康有為在此居住期間，會見文化名人，潛力心研究書藝，因此故居在國內外享有盛譽。