Die Burg Kalden wurde Ende des 12. Jhdt. auf einer Nagelfluhrippe oberhalb der Iller bei Altusried errichtet. Die Höhenburg war auf der Westseite durch den Kaldener Tobel gesichert. Die Ostseite fiel steil zur Iller ab.
Die Herren von Kalden waren kemptische Dienstmannen mit Niedergerichtsbarkeit belehnt. Zum Herrschaftsbereich gehörten: Grönenbach - Buchen - Weitenau - Kimratshofen - Walzlings - Adelegg - Altusried. Ab 1384 war die Burg Alt-Kalden im Besitz der Herren von Rothenstein, später der verwandten Marschälle von Pappenheim.
Ende des 15. Jhdt. wurde Alt-Kalden aufgegeben. Die alte Burganlage, von der heute nur noch ein schmaler Grat zeugt, war wegen Abrutschgefahr in die Iller nicht mehr bewohnbar.
Die ehemalige Vorburg (etwa 300-400 m südlich, 705 m hoch gelegen) wurde 1515 zur Burg Neu-Kalden ausgebaut.
Im Bauernkrieg (1525) nahmen Allgäuer Bauern die neue Burg ein. 1639 erlosch die Allgäuer Linie der Pappenheimer. Ihr Besitz (Grönenbach und Kalden) ging 1692-96 an das Stift Kempten und 1803 an das Land Bayern über. Wegen eines drohenden Hangrutsches wurde Neu-Kalden 1692 verlassen und im 19. Jhdt. abgetragen.
Heute ist von Neu-Kalden nur noch die Ruine eines Rundturms (mit Kellerraum), der einst zu einem Doppelturmtor gehörte, erhalten.
Aufnahmejahre: 2005, 2014, 2019