林語堂故居位於台北的陽明山腰，是林語堂親自設計建於1966年，也是他生前最後十年在台灣的住所。建築是以中國四合院的架構模式，配以西方的設計，融合了現代感與古典美。藍色的琉璃瓦搭配白色的粉牆，其上嵌著深紫色的圓角窗欞，意境典雅精緻。
進入大門便是一個中西合璧的庭院，庭院周圍的欄杆上爬滿了綠色的植物，開滿了白色的小花。院內能看到幾顆古樹，參天挺拔。穿過短短的迴廊，就可以看到透天的中庭，廊柱是白色的，上部分被設計成螺旋形。而最有特色的是中庭的其中一角，一個小小的水池，一座小巧的假山上種著翠竹、楓香、蒼蕨、籐蘿等植物，有幾條花色鯉魚在其中游弋。
在水池的邊上，就是林語堂先生的書房，書桌不大，透過書桌前面的兩扇窗戶，可以看到嶙峋有致的石頭和一顆高大的梔子花樹。書房不大，黑色的沙發，黃黑色木地板，溫暖的檯燈。書房裡擺放的都是原件，可以拍照，但是不能使用閃關燈。分時間是分房睡。走過臥室就是客廳和餐廳，裡面擺放著舊式的茶几、沙發、餐具和餐椅。其中一套
書房邊是先生的臥室，臥室中只擺放了一張單人床，因先生怕影響妻子的睡眠，所以他們大部他自己發明的橢圓形的餐桌可以伸展開來，每隻餐椅的靠背上都刻有一個小篆的「鳳」字，象徵著先生與妻子的伉儷情深。
牆上掛著多幅字畫，除了先生自己書寫的「有不為齋」四個字，還有蔣介石在他八十歲的時候寫給他的「壽」字，宋美齡畫的蘭花也掛在上面。此外，先生自己畫的一幅《駿馬圖》也在列。而在展櫃中收集有不少先生生前抽過的煙斗。而在「有不為齋」四個大字的外面有一個陽台，是林語堂先生休息發呆的地方。