Kurz nach dem Ortseingang von Ederheim aus Richtung der B466 kommend zweigt von der Hauptstraße nach Süden die Gasse „Am Schlossgarten“ ab. Namensgebend für die Innerortsstraße und die Flur war hier das ehemalige Schloss. Um 1840 wurden große Teile des Deutschherrenschlosses sowie der zugehörige große Stadel abgebrochen, sodass nur noch der Straßenname an den historischen Ort erinnert. Gerhard Beck schreibt in der Ortschronik von
Der älteste Sitz befand sich in der Kirchstraße Hausnummer 8 bis 12. Es handelte sich um einen Burgstall, der auf einem runden, 25 Meter im Durchmesser betragenden, künstlich aufgeschütteten Turmhügel bestand. Der Komplex war durch einen circa zwei Meter breiten Wassergraben umgeben. Vermutlich bereits 1474 dürfte die Burgstelle, als Sitz der Ederheimer Vögte aus unterschiedlichen, meist niedrigen Adligen verlassen gewesen sein.
Das Obere Schloss in Ederheim wird schon 1360 erwähnt
Im 15. Jahrhundert werden die Herren von Emershofen die Herren von Ederheim, die im Dorf seit 1369 Besitz hatten. Sie und die nachfolgenden Herren von Jagstheim hatten ihr „Geseß“ auf dem „Unteren Schloss“, das mutmaßlich in der Dorfstraße 14 lokalisiert wird. Hier bestand ein kleines Schlösschen mit Baumgarten, Schafhaus und Nebeneinrichtungen. In der Zeit um 1680 sind die Bezeichnungen Schlossgasse als westlicher Teil der Dorfstraße und Unterer Schlossgarten bekannt. Nachdem 1707 nur noch ein Steinhaufen auf die Anlage hinwies und das Grundstück neu bebaut wurde, verschwanden diese Bezeichnungen völlig.
Das Obere Schloss findet bereits 1360 Erwähnung. Das Anwesen unterstand herrschaftlich dem Kloster Christgarten und wurde von niedrigen Adligen bewohnt. Auch hier herrschte ein reger Besitzerwechsel. Ab Mitte des 17. Jahrhunderts werden zahlreiche landwirtschaftliche Grundstücke einbezogen, es entstand ein Gutshof. Die repräsentativen Ansprüche der Besitzer – zuletzt war es der fürstlich-oettingische Oberamtspfleger von Hochhausstiegen.
Am 16. April 1706 erwarb der kaiserliche Generalquartiermeister Albrecht von Elster in Ederheim das Schloss, einen Gasthof und den späteren Karlshof von Fürst Albrecht Ernst II. für 16.000 Gulden. Der in Ulm geborene neue Schlossherr hatte im spanischen Erbfolgekrieg Karriere gemacht und wurde 1712 in den Freiherrenstand erhoben. Die Herrschaft wurde um Feldgüter und Waldungen erweitert und umfasste auch Schloss Diemantstein, Zoltingen und Trugenhofen. Der Schlossgarten, so wird heute noch ein Wiesenareal in Ederheim bezeichnet, wurde erweitert. Nach Aufzeichnungen bestanden mehr als 500 Bäume. Zur Anlage gehörte ein Schlossgartenacker (Gemüseanbau) und ein Fischweiher.
Nur der Straßenname erinnert an die stattliche Hofhaltung
Die Herrschaft umfasste gemäß der erhaltenen Dienerrechnungen für Ederheim einen Amtsverwalter, einen Amtsknecht (Polizeidiener), einen Baumeister, einen Kastenmeister, einen Tennenmeister, einen Forstknecht und einen Gärtner. Der protestantische Freiherr beschäftigte mit Pfarrer Liebermeister einen aus Thüringen stammenden Hausprediger. Am 23. Mai 1721 stirbt der Freiherr, er wird in einer Gruft in der Ederheimer Kirche begraben.
Die Witwe verkauft 1734 Schloss und Herrschaft. Der Deutsche Orden übernimmt 1751 die Ortsherrschaft bis zur Angliederung an das Königreich Bayern im Jahre 1806. Im Salbuch des Deutschordens von 1779 findet sich eine Gebäudebeschreibung des Schlosses, die der Ortschronik entnommen werden kann. Das zweistöckige Schloss hatte eine Länge von 38,4m und eine Breite von 18,5m. Seitenwände und Grundmauern des Schlosses sind zwar noch in den Gebäuden Am Schlossgarten 4 und 6 erhalten, sonst erinnert nur der Straßenname an die einst stattliche Hofhaltung.