是目前建築工藝最精美、保護最好的雙環圓形土樓，圓中有圓，風格別致，中型圓土樓的代表。懷遠樓樓高4層，樓內直徑33公尺，樓主為簡姓客家人，厚實的夯土外牆採「傾壁造」加強抗震能力，坐北朝南，高4層，14.5公尺，每層34間，共136間。樓門上有楹聯：「懷以德敦以上藉此修齊遵祖訓，遠而山近面水憑茲靈秀育人文」。懷遠樓最引人注目之處，在於內院核心位置的祖堂也就是家族子弟讀書的地方「斯是室」。「斯是室」為精巧秀氣「四架三間」上下堂建築，室內雕梁畫棟，古樸天然，對聯橫匾，書卷氣濃。堂上懸挂的橫匾刻著蒼勁有力的行楷「斯是室」大字，兩邊柱子上有副對聯，上聯是「斯堂詎為游觀計敦書開耳目」，下聯是「是室何嫌隘惟思尚德課兒孫」。
懷遠樓為二環樓，建築師是振成樓的建築師，樓的設計相當工整。樓內有塊何應欽贈送的金匾「助我義師」，樓前平地有塊用鵝卵石排成的太極圖案。土樓和村子被水稻田和茶山包圍著，一幅安寧的田園圖。懷遠樓的樓基用巨型鵝卵石和三合土壘築3米多高，牆體至今光滑無剝落。站在樓外牆邊把臉貼著牆向上看，能看到樓基下圍小，中間大，上層又逐漸縮小，好像橄欖狀，此結構符合力學，可抗風，使樓更結實。