香港仔原本稱為石排灣（現多指香港仔半山的石排灣村）。1841年，一批英軍登陸香港仔，並問當地居民所在何地。當地居民回答Hong Kong（香港），所以整個島嶼就被稱為香港島，此地則被稱為香港仔。後來港英政府將此地命名為鴨巴甸（Aberdeen，香港仔的英文名稱），以紀念當時英國的外交大臣鴨巴甸勳爵。而於香港日治時期，香港仔曾被改名為元香港，代表「香港的起源」的意思。
隨著時代發展，香港仔很多漁民於1960年代起已搬到陸上居住。而香港仔旱廠原址已於1970年代被填海，成為今日南區的一個大型私人屋苑——香港仔中心。
香港仔昔日是香港地區的一個主要轉口港。古時香港地區內生產的石磚，大多先運到香港仔的海灣分行排列，以便運到廣州，因此該海灣得名為「石排灣」。到了明朝，石排灣也兼營香樹製品的轉運。從沙田及沙螺灣等地生產的製品會經尖沙咀用小艇送到石排灣，再用俗稱「大眼雞」的艚船運至廣州。傳說明朝建立的香港村因而得名。而香港仔的轉口事業隨著清朝初期的遷界而式微。
另一方面，早於香港開埠之前，已經有漁民在香港仔居住。開埠後，除了漁業外，香港仔一帶也開始發展工業。1857年建成的夏圃船塢，是香港首個大型船塢，後來於1860年代被黃埔船塢收購發展成香港仔旱塢[3]，其後成為香港四大船塢之一。20世紀初，香港仔東部設立了大成紙廠，但到了1920年代因香港仔水塘的擴建，導致不能再使用該水源，業務需要結束，原址後來發展為香港仔兒童工藝院（今香港仔工業學校）。初期居民大多居住在香港仔黃埔船塢東面的香島道（今香港仔大道）及香港仔大街（今香港仔舊大街）一帶，艇戶則多聚居於香港仔避風塘內以及黃竹坑西面的十五間和湧尾海傍。