不肯去觀音院位於紫竹林內，潮音洞旁。這裡是普陀山建寺最早的地方，再加上「不肯去觀音」的傳說，讓不肯去觀音院成了「普陀三大寺」之外最有名氣的寺院。每天來朝拜據說十分靈驗的「不肯去觀音」的香客絡繹不絕。又因為它建在海邊，風景很美，也是全山拍寺院與大海結合的照片難得的取景地。
從紫竹林禪院往海邊走，不一會兒就能到不肯去觀音院。這座寺廟面積不大，但是公認的普陀山「海天佛國」起源地。幾乎每個來此的香客或遊人都能講上幾句「不肯去觀音」的典故。說的是，當年日本僧人慧鍔從五台山奉請觀音菩薩像回國，船經舟山群島的蓮花洋的時候海面突然興風作浪，僧人認為菩薩不願東去，便靠岸留下佛像。後來島上有位農民把自己的房子騰讓出來，供奉不肯離去的觀音娘娘。後來才有了這島上第一座「不肯去觀音院」，以及普陀山上的大小佛剎。
寺廟的原建築早已不在，現在看到的寺院是80年代重建的。也可能是因為這段典故，和黃色牆體的中國傳統佛寺不同，不肯去觀音院看上去更像日本建築。儘管寺裡已無太多古跡，但關於此地的傳奇故事廣為人知，因此每天香火極盛。除了主殿供奉的仿唐式十一面觀音像，寺院西側還有「三十三觀音靈場」長廊，供奉著33尊觀音像，虔誠者可一一拜過。
不肯去觀音院正對面的觀海亭是看海的佳處，遊人不多時可在此小憩。而旁邊的潮音洞偏居一隅的位置也聽適合欣賞海景，聽潮聲熙攘。也有許多遊客在「禁止捨身燃指處」碑前拍照留影。