橄欖樹的起源已經遠不可考。幾個世紀以來，隨著地中海的文明孕育與拓展，俗稱黃金之樹的橄欖樹對整個西方世界早留下深遠的影響。

目前發現最早的橄欖葉化石是在義大利境內的新世岩層的堆積物裡。在北非的舊石器時代岩層也發現了化石的殘留。另外，在西班牙境內，於出產的銅石器時代以及銅器時代的古物中，也有野生的橄欖葉以及化石的蹤跡。

橄欖樹的存在可回朔至西元前12世紀。
野生的橄欖樹源於小亞細亞，在此處濃密的森林裡野生橄欖樹異常的蓬勃。橄欖樹似乎是從敘利亞經由土耳其(Anatolia，古名，位於土耳其境內)傳到希臘，儘管仍有其他猜測的論點指出橄欖樹的起源地是下埃及區、努比亞(Nubia)、埃賽俄比亞(Ethiopia)、亞特拉斯(Atlas)山脈或是歐洲的某些地區。卡魯索仍堅信整個環地中海地區是橄欖樹的原生地，並認為小亞細亞在六千年前已經開始耕種橄欖樹，為”農作橄欖”的誕生地。亞述人(Assyrians)和巴比倫人(Babyloni8ans)是古代文明在該地區唯一對橄欖樹不熟悉的民族。

從南高加索地區到伊朗高原及敘利亞與巴勒斯坦的地中海沿岸的這一塊區域，是橄欖樹的家鄉，尤其在敘利亞和巴基斯坦，橄欖樹的栽種相當的普遍：從此地一直綿延到賽普勒斯島，再到土耳其，以及從克里特島蔓延到埃及地區。

西元前十六世紀，腓尼基人開始在希臘小島群散播橄欖，之後又在西元前十二到十四世紀之間拓展到希臘本島，在此橄欖樹的栽種更為增加。雅典立法家索倫(Solon) 曾立下法令規定橄欖樹的栽種，使得在西元前四世紀時，橄欖已成為非常重要的農作物。

從西元前六世紀開始，橄欖遍及整個地中海國家直到利比亞的黎玻里(Tripoli)、突尼斯以及西西里島。然而，轉瞬間，義大利的橄欖樹追朔至特洛依之役(西元前1200年)之前三百年。另一位羅馬歷史家Penestrello捍衛傳統的觀點指出，第一顆橄欖樹，在羅馬皇帝Lucius Tarquinius Priscus統治時期(616 - 578 BC)經由黎玻里或是突尼西亞的加倍斯帶入義大利，從義大利南部往北，從Calabria漸行到Liguria種植橄欖樹。當羅馬人抵達北非，北非的薄柏民族(Berbers)知道如何移植野生橄欖，也早已將橄欖的耕種拓展到所有他們所佔領的領土上。

羅馬人持續擴展橄欖樹的種植到地中海沿岸的國家，將橄欖樹作為一種和平的武器來降服他們所征服的人民。在西元前六百年前，藉由在馬賽的引入，漸漸散播到整個高盧(古法國地區)。橄欖樹在羅馬時期也出現在撒丁尼亞島了，而柯西嘉島則據稱是由日內瓦人在羅馬帝國降臨後引入。

在腓尼基掌控航海的時代，大約是西元前1050年，橄欖樹才被引進西班牙種植。但是當時種植面積並不顯著，直到羅馬時代將軍西皮奧(Scipio)領軍抵達西班牙(約西元前212年左右)後，與當時佔有西班牙的腓尼基人作戰勝利，將西班牙納入羅馬帝國統治版圖，橄欖樹栽種面積才愈見普遍。在第三次普尼戰爭之後，橄欖樹的蹤跡遍佈巴埃蒂卡山谷(約現今的西班牙安達魯西亞地區)，並延伸至西班牙半島地中海沿岸包括葡萄牙等地。阿拉伯人帶來他們的橄欖樹品種到西班牙南部並影響當地栽種文化甚多，以致現今西班牙文的橄欖稱作aceituna，橄欖油為aceite，而野生橄欖樹為acebuche。而葡萄牙文的橄欖為azeitona，橄欖油是azeite，均為阿拉伯文的字根。

隨著在1492發現了美洲，橄欖樹的耕種隨之擴展，突破了地中海的侷限範圍。第一批五株橄欖樹從西班牙塞維亞帶到西印度群島，隨後又被帶到美洲大陸。1560年在墨西哥耕植了橄欖果園，接下來是祕魯、加利福尼亞、智利和阿根廷。百年古橄欖樹就是在西班牙對美洲的征服攻略中帶到阿根廷的。

橄欖樹持續在近代地中海以外的區域被繁殖耕種著，到今天，它已經遠離它的原產地在遠處像是南非、澳大利亞、日本以及中國種植。正如喬治杜哈明所言，”橄欖樹不再生長的地方也就是地中海的盡頭”，更好的說法應該是”凡是太陽普照的地方，也是橄欖生根茁壯與結果之處”。