Jedoch begann die Geschichte des Thürlesbergs nicht erst mit der Burg derer von Thürheim. Sondern mit einer Keltenschanze im zweiten Jahrhundert vor Christus. Auch die Römer nutzten die ausgezeichnete Aussicht ins Donauried und Zusamtal für einen Wachturm. Die dort stationierten Legionäre hatten die Aufgabe, die Donaugrenze gegen eindringende Germanen zu verteidigen. Durch Leuchtfeuer konnten die benachbarten Kastelle Burghöfe (bei Mertingen) und Aislingen alarmiert werden. Erst seit dem späten 11. Jahrhundert ist das Adelsgeschlecht derer von Thürheim belegt, das sich zeitweise im Umfeld der Staufer und des Bischofs von Augsburg bewegte. Familienzentrum war bis etwa 1300 die Gegend um Buttenwiesen. Nach einem sozialen Abstieg in der zweiten Hälfte des 13. Jahrhunderts ist die Familie im 15. Jahrhundert quellenmäßig kaum mehr greifbar. 1480 erwarb Eberhard von Thürheim das schwäbische Adelsgut Biberachzell, was die Zugehörigkeit der Familie zur Reichsritterschaft einleitete; 1666 erfolgte die Erhebung in den Reichsgrafenstand. Die Thürheims von Biberachzell hatten im frühen 17. Jahrhundert ihren Schwerpunkt nach Österreich verlagert, bildeten aber um 1690 von dort aus einen Zweig nach Bayern zurück. Die Familienbesitzungen lagen im Ober- und Ostbayerischen, Österreichischen und Böhmischen. Im 19. Jahrhundert stand das 1906 in männlicher Linie erloschene Geschlecht meist in bayerischen und österreichischen Militärdiensten. So ist im Historischen Lexikon Bayerns zu lesen. Die Chronik, welche im Eingangsbereich des Bürgerhauses Oberthürheim hängt, bestätigt diese Aussagen. Sie gehen allerdings noch weiter in der Geschichte zurück. "Ritter Aribo Herr von Thürheim lebte 883 auf der Burg. Werner Herr von Thürheim um 992." Bis ins 20. Jahrhundert hinein reicht die Chronik derer von Thürheim, die von dem
Dillingen