Walter war immer stolz auf seine unternehmerischen Erfolge. "Ich habe nichts geerbt und nichts angeheiratet, ich habe nur den Ehrgeiz, gute Dinge besser zu machen", sagte er einmal. Der gebürtige Augsburger mit fünf Geschwistern kommt aus einfachen Verhältnissen. Nach dem Krieg machte er eine Maurerlehre, in Abendkursen holte er dann die Hochschulreife nach und studierte Hoch- und Tiefbau. Das Diplom in Bauingenieurswesen und Architektur machte der ehrgeizige Walter mit Auszeichnung. Später verdiente er sein Geld zeitweise auch mit dem Verfassen von Büchern wie "Mathematik für alle - leicht gemacht" und "Industrialisiertes Bauen der Zukunft".
Nach dem Karrierestart bei Hochtief hatte sich Walter schon 1961 selbstständig gemacht. Nach wenigen Jahren errichtete er ein Fertigteilwerk, das ihm Planung, Statik und Fertigteilproduktion in einer Hand ermöglichte. Der Betrieb wuchs schnell zu einem Konzern heran, vor einer drohenden Baukrise verkaufte er das Unternehmen rechtzeitig.
1978 startete Walter einen Neuanfang in der Branche und baute nach dem Erwerb der Augsburger Baufirma Thosti schrittweise die drittgrößte Baugruppe Deutschlands auf, die aus einem Geflecht von Unternehmen bestand. In den Jahren 1999 bis 2001 fusionierte er die Schwesterunternehmen Walter Bau, Heilit+Woerner und Dywidag. Seit 1997 ist er Präsident des Hauptverbandes der Deutschen Bauindustrie.
Walter war schon immer ein streitbarer Mensch. Der Unternehmer poltert und provoziert gerne. Bei einem festlichen Neujahrsempfang vor einigen Jahren redete er lange und schwermütig über die Vergänglichkeit des Lebens. Ein Teil der Verbitterung, die bei ihm immer wieder zu Tage tritt, soll auf eine verpfuschte Wirbelsäulenoperation nach einem Skiunfall zurückzuführen sein. Der Kunstfehler konnte erst nach vielen Arztbesuchen behoben werden.
Über einen Zusammenbruch seines Reichs war in den vergangenen Jahren immer wieder spekuliert worden. Walter wies die Gerüchte stets zurück. Der Unternehmer habe sich durch trickreiche Transaktionen wie die Übernahmen von Schwesterunternehmen und Grundstücksverkäufe stets retten können, heißt es bei Gläubigerbanken. Erst die gescheiterte Komplettübernahme von Züblin habe das System zum Einsturz gebracht. "Walter wollte an die Kasse von Züblin."