Piiskop Ulmann oli 22. ja 23. juunil Tartut külastamas ja pärast seda sõitis Valka oma laste juurde, kus tema poeg on Luke kiriku õpetaja.

18. detsembril 1866 tähistas Ulmann Peterburis oma teenistuse 60. aastapäeva. Sel puhul andis Tartu ülikool talle teoloogiadoktori diplomi ja Aleksander II määras talle 2000 rubla suuruse pensioni. Seepeale lahkus Ulmann teenistusest ja asus elama oma poegade juurde Valka, kus elas surmani 1871. aastal.