Armin Neumann sündis Tsooru mõisa metsaülema perekonnas. Õppis Tõrva Ühisgümnaasiumis ja Valga Poeglaste Gümnaasiumis (humanitaarharu lõpetaja 1927). Mitmekülgselt andekas noormees jätkas 1927. aastal viiulierialal Tartu Kõrgemas Muusikakoolis ja immatrikuleeriti ka Tartu Ülikooli filosoofiateaduskonda, kus ta aga majanduslikel põhjustel sai õpinguid alustada alles 1929. aastal. Peaaineks valis ta kunstiajaloo, mille lõpetas kuus aastat hiljem magistrikraadiga lõputööga "Eesti lossid. Kronoloogia ja plaanitüübid". Tuulse õpetaja Sten Karling innustas kõiki oma õpilasi kirjutama kaasaja kunstist ja ka Tuulse puhul langes see üleskutse viljakasse pinnasesse. Ta kirjutas näitusearvustusi (peamiselt 1930. aastate lõpus), kunstiraamatute retsensioone ja lahkas kunsti päevaprobleeme. Oma esimese artikli avaldas Tuulse Üliõpilaslehes ja teemaks EÜS ja muusika. Tuulse oli muuseas aastaid EÜS-i orkestri juhataja ja kutseline viiuldaja Vanemuise orkestris. Temalt ilmus rida artikleid Tänapäevas, Akadeemias ja Loomingus ning ajalehtedes Postimees ja Päevaleht.

Aastail 1936–1939 täiendas ta ülikooli stipendiaadina end kodu- ja välismaal (mh Königsbergis Karl Heinz Klaseni ja Wilhelm Worringeri juures, Stockholmi ülikoolis Johnny Roosvali juhendusel ning Hollandis, Belgias, Prantsusmaal ja Itaalias).

Alates 1939. aastast Tartu Ülikooli õppejõud, 1942–1944 kunstiajaloo professor.

1944 emigreerus Rootsi. 1948–1962 oli sariväljaande "Sveriges kyrkor" kaastööline ja 1962–1973 toimetaja. 1952 alustas Stockholmi Ülikooli juures tööd dotsendina, 1962–1974 Põhjamaade ja võrdleva kunstiajaloo professor. 1955. aastast Bonnis asuva Balti Uurimisinstituudi kirjavahetajaliige ja 1965. aastast liige. Osales Rootsi Kunstiajaloolaste Seltsi, Soome Fornminnesföreningi, Internationale Burgvereininigungi, Eesti Teadusliku Seltsi Rootsis töös, mitme väliseesti organisatsiooni (Eesti Komitee, Eesti Rahvusfond, Eesti Rahvusnõukogu) liige, aitas Eesti kunstnikel korraldada kunstinäitusi jm.

Armin Tuulset autasustati 1955. aastal Rootsi Teaduste Akadeemia Björnstjerni auhinnaga, 1966 Põhjatähe ordeniga ja 1981 postuumselt Marti Carl Adolf Böckleri nimelise sihtasutuse medaliga Mare Balticum.