孔府位於孔廟東側，參觀完孔廟出門穿過一條賣旅遊紀念品的小街，就到了孔府。孔府曾是數百年來孔子嫡系長期居住的地方，是中國僅次於明清皇室宮府的最大府第，有「天下第一家」之稱。孔府內建築古跡眾多，不過最有意思的是它還是官衙與住宅合二為一的建築群。
孔府內可以看到眾多珍貴歷史文物，最有名的是「商周十器」，原為清宮所收藏的青銅禮器，是乾隆皇帝賞賜給孔府的。而例如歷代帝王將相的手書匾額、名人字畫、雕刻以及明清幾代的衣、冠、袍、履等藏品不計其數，其中元代的「七梁冠」、唐代的「鎏金千佛曲阜塔」均為稀世珍品。
孔府始建於宋金時期，又於1377年建於現址。孔府又稱「衍聖公府」，「衍聖公」是孔子嫡系長子長孫的封號。孔府大門正中高懸「聖府」金字匾額，相傳為明代宰相嚴嵩手書，門兩旁有清代紀昀手書的對聯：與國鹹休安富尊榮公府第，同天並老文章道德聖人家。
孔府雖不如孔廟龐大，但同樣擁有九進院落，有樓軒廳堂四百多間，進入大門後的建築佈局分為東、西、中三路。東路為家祠所在地，有報本堂、桃廟等；西路為舊時衍聖公讀書、學詩學禮、燕居吟詠和會客之所，有忠恕堂、安懷堂，南北花廳為招待一般來賓的客室。
中路是孔府的主體建築，先是進入孔府的第二道大門「重光門」，迎面有一座門樓，上有「恩賜重光」匾額，為明世宗朱厚熜所頒。當年，只有帝王大典、迎接聖旨，或進行重大祭祀活動時，才會在十三響禮炮聲中將此門打開。
進入重光門是官衙，設三堂六廳，外轄和勾、百戶、孔庭族長及曲阜縣衙四個衙門。其中大堂是當年衍聖公宣讀聖旨、接見官員、審理重大案件，以及節日、壽辰舉行儀式的地方，如今可以看到裡面陳列著的正一品爵位使用的公案桌、儀仗等物品。
衙堂之後是歷代衍聖公及家眷的住宅，走到最後是孔府的後花園。花園不大，但假山、池塘、竹林、亭台、曲橋等俱全，還建有敬花神的石壇、賞月的涼台、焚香讀書的壇屋。花園內有一棵四百多年樹齡的柏樹，一樹生五支，中間生一株槐樹，被稱為「五柏抱槐」，是一大奇景。