Ole sündis Kaagjärve vallas taluniku kaheksalapselises perekonnas seitsmenda lapsena. Kunstniku sünnikoha – Saibasoo talu Kaagvere vallas Karula kihelkonnas Valgamaal – oli tema ema pärinud oma vanemailt, Pugritsa talu Puudersellidelt. Eduard Ole isa Gustav tegeles mitmel pool, oli hiljem väikeettevõtja ja majaomanik. Ema suri siis, kui Eduard oli mõneaastane. Kunstniku vanemad puhkavad Valga mullas. Ema viimane puhkepaik Palumetsa kalmistul jäi Läti poolele ja hääbus matusepaikade ümberkorraldamisel.
Esimesed koolisammud astus Eduard Ole pastor Wühneri neljaklassilises kirikukoolis, seejärel õppis Valga linnakoolis. Kooli joonistusõpetaja Aleksei Solodov oli kunstihariduse saanud Penza kunstikoolis ja innustas ka oma andekamaid õpilasi samale teele asuma. Penza kunstikool oli Peterburi Kunstide Akadeemia filiaal, kust suunati õpilasi kunstiga tutvuma nii Peterburi kui ka Moskva rikkamatesse galeriidesse.
1914. aasta sügisel kuulus Penza kunstikooli viie vastuvõetud õpilase hulka kaks eestlast: Eduard Ole ja tema eluaegne sõber Juhan Raudsepp. Ole õppis Penza kunstikoolis aastatel 1914–1918 ning lõpetas selle gümnaasiumi joonistusõpetaja kutsega. Pärast Eestisse naasmist asus ta tööle õpetajana. Ta oli aastast 1919 Rakvere Reaalgümnaasiumis ja Rakvere Õpetajate Seminaris õpetaja, aastast 1922 Tartu Tütarlaste Gümnaasiumi ning kommerts- ja kaubanduskooli õpetaja. Aastatel 1924–1936 oli Ole Hugo Treffneri Gümnaasiumi õpetaja.
1930. aastate alguseks oli Olest saanud tunnustatud kunstnik. 1936. aastal võttis ta vastu õpetajakoha Tallinna Prantsuse Lütseumis.
1943. aastal põgenes Ole Soome ja siirdus sealt 1944. aastal edasi Rootsi. Ta elas Vällingbys Lääne-Stockholmis ja töötas Põhjamaade Muuseumis.
Eduard Ole suri aastal 1995 ja maeti 24. juulil 1996 Metsakalmistule.