Ab 1925 bis 1930 studierte Tölzer an der Wiener Kunstgewerbeschule bei Schufinsky, Mallina, Čižek und Löffler. Ab 1931 arbeitete er im Atelier von Josef Binder. Tölzer wurde während des Zweiten Weltkrieges eingezogen und geriet in Kriegsgefangenschaft. Nach dem Krieg studierte Tölzer von 1947 bis 1949 Architektur bei Clemens Holzmeister und Erich Boltenstern. In dieser Zeit verdingte sich Tölzer hauptsächlich durch das Gestalten zahlreicher Titelseiten der Zeitschrift „Die Frau“. Ab 1949 gestaltete Tölzer Wahlplakate für die SPÖ. In Zusammenarbeit mit seiner Ehefrau Maria Tölzer schuf er als Architekt die Wohnhausanlage Eisenstadtplatz im 10. Wiener Gemeindebezirk und den Ernst-Papanek-Hof im 15. Wiener Gemeindebezirk.