揚州八怪泛指清代揚州具有創新精神的一批畫家，以擅畫竹的鄭燮（鄭板橋）、一生坎坷的金農、擅畫鬼的羅聘等人為代表，八怪具體指哪八個畫家，說法不盡一致，據各種著述記載，前前后后至少計有十五人之多，所以“八”可看作數詞，也可看做約數。

揚州八怪紀念館主體建筑南北走向，大門在南端，進入大門，首先看到的是位于草坪中央的大鐵鍋，有1500多年歷史，其后便是明代西方寺的大雄寶殿，用珍貴的楠木建成。大雄寶殿現為紀念館主展廳，記得一定要抬頭看，房梁上漂亮的彩繪多為明代遺存。殿堂的正中立著揚州八怪雕像，周圍是展覽，圖文介紹八怪的生平，陳列他們的書畫作品，不過書畫多為仿制品。

穿過大雄寶殿，后邊的庭院中有一棵將近800歲的參天古銀杏，筆直往前走是李亞如書畫陳列廳，平時陳列八怪傳人李亞如的書畫，有時也舉辦臨時展覽。左手轉彎是金農寄居室，根據他的住所方丈室復原，中間是客廳，兩邊分別為畫室和臥室，當時西方寺已衰敗，可以看出金農的住處十分簡陋。

然后往東行是東園部分，假山點綴，布置成江南園林的樣子�？梢钥纯闯靥痢苞Q池窺冰”，因金農表達高潔志向的詩句“池上鶴窺冰”而得名，往南行參觀竹泉亭與亭中金農取水用的水井，五代經幢，最后回到大雄寶殿東側的“碑廊集粹”。在碑廊仔細找找，能發現著名的鄭板橋書法作品“難得糊涂”。

沿揚州八怪紀念館外的小巷子向東步行50米，有一棵用圍欄護住的千年唐槐，是唐代《南柯太守傳》里“南柯一夢”的故事發生地。