Die Kapelle hat aber eine im wahrsten Sinne des Wortes bewegte Geschichte, denn es wechselten nicht nur ihre Besitzer, sondern auch ihr Standort: Ursprünglich stand sie an der Ecke Weißmalergasse und Judengasse, heute Karolinenstraße und Karlstraße und gehörte im späten Mittelalter dem Augsburger Domkapitel. Der Bau der Leonhardskapelle geht möglicherweise auf die Familie Ilsung zurück, die in den benachbarten Häusern wohnte. Von ihnen kaufte im Jahr 1422 die Familie Welser das Gebäudeensemble. Damals stand die Kapelle fast ebenerdig und von außen eher unscheinbar zwischen den Wohn- und Geschäftsbauten. Sie war nur an dem Glockenturm zu erkennen, der sich zusammen mit dem Wohnhaus des Kaplans gleich neben der Kapelle befand.
Wechselnde Besitzer und Nutzungen
Im Zuge der Reformation wurden in den 1530er Jahren viele katholische Klöster, Kirchen und Kapellen geschlossen – und schließlich auch die Leonhardskapelle 1538 profanisiert. 1538 erfolgte der Verkauf von Turm und Haus des Kaplans an Bartholomäus Welser, der 1539 und 1540 einen groß angelegten Umbau vornahm und auch den Teil oberhalb des Gewölbes der Kapelle in sein Wohnhaus integrierte. Zeitgleich baute die Stadt an der Kapelle. Daraufhin war sie als Gotteshaus nicht mehr zu erkennen. Im Zeitraum zwischen 1548 und 1553 ging schließlich auch die ehemalige Kapelle in den Besitz des Welser über. Über die weitere Nutzung im 16. Jahrhundert ist nichts bekannt. 1615 wurde der gesamte Häuserkomplex von den Welsern an den Eisenhändler Elias Lotter verkauft.
Weitere Besitzer folgten: die Liegenschaft ging 1650 an Johann Koch von Gailenbach und 1788 an Sebastian Andreas Balthasar von Hößlin. 1895 erwarb der Seifenfabrikant Johann Freyinger das Gebäude. Ab 1904 war dort der Sitz des »Central-Bazar und Magazin für Haus- und Küchengeräte« von Simon Einstoss untergebracht. Er nutzte die Historie seines Ladengeschäfts für die Werbung auf Bildpostkarten. Ab 1913 beherbergte die ehemalige Kapelle ein vornehmes Lokal. Das Restaurant »St. Leonhard« zählte zu den besten Adressen Augsburgs.
Eine Kapelle in Einzelteilen
In der Bombennacht am 25. Februar 1944 blieb auch das Gebäude in der Karolinenstraße nicht verschont. Ein Großteil war zerstört, viele der gotischen Gewölbeelemente lagen zertrümmert am Boden oder waren verrußt durch das Feuer, das nach den Bomben gewütet hatte. In diesen Tagen zogen Räumkommandos durch die Stadt und rissen alles ab, was nicht mehr erhaltenswürdig aussah oder einsturzgefährdet war.
Die Leonhardskapelle blieb zunächst als Ruine erhalten. Erst 1958 wurde die Ruine Stück für Stück sorgfältig und planmäßig abgebrochen. Zunächst lagerten die einzelnen Bauteile in der Dominikanerkirche. Im Jahr 1960 bat die Stadt schließlich das Seniorat der Familie Fugger und die Fuggerschen Stiftungen, Teile von zerstörten historischen Gebäuden Augsburgs in den künftigen Neubau des Seniorats- und Administrationsgebäudes in der Fuggerei aufzunehmen, die im Krieg ebenfalls stark beschädigt war.