Er studierte Musik Orgel, Klavier, Dirigieren, Komposition in Nürnbergund Frankfurt (Main); dort war er auch kurze
Zeit als Korrepetitor an der Oper tätig. Von 1968 bis 1974 unternahm er Orgelstudien bei Marie-Claire Alain,
Maurice Duruflé und Jean Guillou in Paris. Während dieser Zeit gewann er zahlreiche Wettbewerbe und festigte
durch häufiges konzertieren seinen Ruf als bekannter Interpret, vornehmlich der französischen Orgelliteratur.
1974 wurde er auf den Lehrstuhl Orgel der Hochschule für Musik Würzburg berufen und dort zum Leiter der
Abteilung Kirchenmusikernannt. Bis 1976 leitete er dort auch eine Klavierklasse. Im selben Jahr fanden die
Berufungen als Head of the Organ Department an die Catholic University of America und Artist in Residence an
den Nationel Shrine statt, beide in Washington D.C., USA.
Nach der Rückkehr an die Würzburger Musikhochschule baute er seine internationale Konzerttätigkeit aus und
spielte zahlreiche Aufnahmen auf Tonträger ein, die mehrmals mit dem Deutschen Schallplattenpreis ausgezeichnet
wurden. 1994 erfuhr er verschiedene Ehrungen, darunter der Kulturpreis der Stadt Sulzbach-Rosenberg und die
Verleihung des Verdienstordens am Bande der Bundesrepublik Deutschland.
Die nach seinen Plänen gebauten Orgeln wissen sich einer neuzeitlichen Ästhetik der Spieltechnik verpflichtet,
darunter auch das Instrument in der Stiftsbasilika Waldsassen mit 6 Manualen und 103 Registern. Als erfolgreicher
Lehrer ist Kaunzinger international tätig; die von ihm gegründeten und alljährlich stattfindenden Memminger
Meisterkurse für Orgelinterpretation favorisieren ein breites Literaturspektrum und spieltechnische Souveränität.