揚州八怪泛指清代揚州具有創新精神的一批畫家，以擅畫竹的鄭燮（鄭板橋）、一生坎坷的金農、擅畫鬼的羅聘等八人為代表，其實總共有十五人。揚州八怪紀念館由金農晚年寄居的西方寺改造而成，位於瘦西湖東南邊，與四望亭僅一路之隔。在這裡你可以瞭解到揚州八怪的生平與作品，適合喜歡書畫、對人文景點感興趣的遊客。
紀念館主體建築南北走向，大門在南端，進入大門，首先看到的是位於草坪中央的大鐵鍋，有1500多年歷史，其後便是明代西方寺的大雄寶殿，用珍貴的楠木建成。大雄寶殿現為紀念館主展廳，記得一定要抬頭看，房樑上漂亮的彩繪多為明代遺存。殿堂的正中立著揚州八怪雕像，周圍是展覽，圖文介紹八怪的生平，陳列他們的書畫作品，不過書畫多為仿製品。
穿過大雄寶殿，後邊的庭院中有一棵將近800歲的參天古銀杏，筆直往前走是李亞如書畫陳列廳，平時陳列八怪傳人李亞如的書畫，有時也舉辦臨時展覽。左手轉彎是金農寄居室，根據他的住所方丈室復原，中間是客廳，兩邊分別為畫室和臥室，當時西方寺已衰敗，可以看出金農的住處十分簡陋。
然後往東行是東園部分，假山點綴，佈置成江南園林的樣子。可以看看池塘「鶴池窺冰」，因金農表達高潔志向的詩句「池上鶴窺冰」而得名，往南行參觀竹泉亭與亭中金農取水用的水井，五代經幢，最後回到大雄寶殿東側的「碑廊集粹」。在碑廊仔細找找，能發現著名的鄭板橋書法作品「難得糊塗」。
沿揚州八怪紀念館外的小巷子向東步行50米，有一棵用圍欄護住的千年唐槐，是唐代《南柯太守傳》裡「南柯一夢」的故事發生地。