Ulmann sündis mõisaomaniku ja kaupmehe peres. 1810–14 õppis ta Tartu ülikoolis teoloogiat ja pälvis 1813 omakirjutatud jutluse eest hõbemedali. 1815–16 täiendas ta end Jena ja Göttingeni ülikoolis. 1817 sai ta pastori koha Krimuldas ja Pēterupes. 1835 tõusis ta Liivimaa konsistooriumi eesistujaks.

Samal 1835. aastal kaitses ta Jena ülikoolis filosoofiadoktori kraadi ja pärast seda valis Tartu ülikool ta 1836 usuteaduskonna praktilise jumalasõna kateedri korraliseks professoriks. Oma alandliku ja väärika iseloomu ning ametikohustuste täpse täitmisega teenis ta ära nii kolleegide kui tudengite lugupidamise. Eriti austasid üliõpilased teda aukohtu juhtimise eest. Kolmel korral, 1839–41 valiti ta Tartu ülikooli rektoriks, aga varsti pärast kolmandat valimist haigestus raskelt ja palus end ametist vabastada. Kui keiser Nikolai I oli selle kinnitanud, lahkus ta Tartust Riiga.

4. veebruaril 1856 määras Aleksander II Ulmanni evangeelse luterliku peakonsistooriumi aseesimeheks ja seadis ta nii kogu Venemaa evangeelse vaimulikkonna juhiks. 1858 määras Aleksander II Ulmanni piiskopiks. 1859 sai ta Aleksander II-lt heakskiidu Venemaa luterlike koguduste abikassa asutamiseks.

18. detsembril 1866 tähistas Ulmann Peterburis oma teenistuse 60. aastapäeva. Sel puhul andis Tartu ülikool talle teoloogiadoktori diplomi ja Aleksander II määras talle 2000 rubla suuruse pensioni. Seepeale lahkus Ulmann teenistusest ja asus elama oma poegade juurde Valka, kus elas surmani 1871. aastal.