Er hatte sich schon auf seinen Ruhestand gefreut, als ihn an Weihnachten 1993 Papst Johannes Paul II. im Alter von 66 Jahren zum Bischof von Augsburg ernannte. Elf Jahre füllte der Ordensmann Viktor Josef Dammertz dieses kräftezehrende Amt aus. Mit seiner ausgleichenden Art gelang es ihm, die in Richtungskämpfen aufgewühlte Diözese nachhaltig zu beruhigen. Vor allem lag ihm, dem Benediktiner, an einer geistlichen Vertiefung seiner Gläubigen und er rief ein „Jahr der Berufung“ aus. An diesem Samstag feiert Dammertz in seiner Abtei St. Ottilien (Kreis Landsberg) geistig frisch, doch körperlich gebrechlich seinen 90. Geburtstag.
Er kam einst vom Niederrhein nach Bayern und eroberte hier die Herzen durch Frohsinn und Humor. Typisch benediktinisch mühte er sich, zunächst immer alle zu hören, ehe er eine Entscheidung fällte. Dammertz hatte 1954 bei den Missionsbenediktinern in St. Ottilien die Ordensgelübde abgelegt. Im Orden durchlief er eine steile Karriere, er wurde 1975 zum Erzabt in St. Ottilien gewählt und 1977 zum Abtprimas der Benediktiner weltweit. Als ihr oberster Repräsentant durchreiste er 15 Jahre lang die Welt und besuchte die Niederlassungen.
Nach seiner Zeit als Bischof von Augsburg verbrachte er seinen Ruhestand zunächst als Hausgeistlicher der Benediktinerinnen von St. Alban in Dießen am Ammersee. Später kehrte er in sein Kloster zurück.