Hybrid and explainable deep learning (HDL) Gruppe

Die Forschungsgruppe erforscht Ansätze zur Nutzung von Deep Learning für das Prozessverständnis durch erklärbares maschinelles Lernen (XAI) und hybride Modellierung, die Kombination von physikalisch basierter Modellierung und maschinellem Lernen. Wissenschaftliche Erkenntnisse können entweder über eingebaute Mechanismen (z.B. hybride Modellierung) oder über post-hoc Erklärungen erreicht werden. Beide Ansätze sind motiviert durch die ständig wachsende Menge an Erdbeobachtungsdaten, die begrenzte Fähigkeit traditioneller, physikalisch basierter Modelle, beobachtete Muster zu reproduzieren, und die Fähigkeit moderner Deep-Learning-Ansätze, das Verhalten komplexer Erdsystemprozesse zu approximieren.

Explainable machine learning

Die Dynamik von Ökosystemen und Erdsystemprozessen im Allgemeinen lässt sich oft nur schwer modellieren und vorhersagen, und selbst heute sind viele Ansätze des maschinellen Lernens nicht in der Lage, zeitliche Abhängigkeiten zu kodieren, die dynamische natürliche Systeme typischerweise kennzeichnen. Deep Learning-Ansätze im Zeitbereich (z. B. rekurrente neuronale Netze) sind jedoch konzeptionell in der Lage, solche Probleme zu lösen. Solche Modelle lassen sich nur schwer oder gar nicht physikalisch interpretieren, was die aus ihnen gewonnenen wissenschaftlichen Erkenntnisse einschränkt

Ansätze aus XAI können jedoch den Prozess der Modellentwicklung und der Fehlersuche unterstützen, das Modellverhalten rechtfertigen und sogar die Destillation von Erkenntnissen aus maschinellen Lernmodellen ermöglichen. Wir konzentrieren uns auf zeitliche Abhängigkeiten zwischen Antriebsvariablen wie Niederschlag und der Reaktion des Ökosystems (z. B. dargestellt durch den Vegetationszustand).

In einem ersten Versuch, Deep Learning anzuwenden, um die Dynamik von Ökosystemen besser zu verstehen (Kraft et al., 2019), haben wir einen permutationsbasierten Ansatz verwendet, um Memoryeffekte auf den Vegetationszustand zu identifizieren. Diese Forschung wird mit neueren Ansätzen aus dem erklärenden maschinellen Lernen fortgesetzt.

Erklärbarkeit durch eingebaute Mechanism: Hybrides Modellieren

Mit der Kombination von maschinellem Lernen und physikalisch basierter Modellierung (hybriden Modellierung) sollen Möglichkeiten erforscht und weiterentwickelt werden, um trotz des Black-Box-Charakters der verwendeten Modelle wissenschaftliche Erkenntnisse über die beobachteten Phänomene zu gewinnen und damit das Potenzial von zeitlichen Deep-Learning-Ansätzen für die Modellierung von Ökosystemprozessen nutzen zu können.

Erste Anwendung von hybrider Modellierung in der Erdsystemforschung

In a recent publication (Kraft et al., 2022), we presented a physics-aware machine learning model of the global hydrological cycle. As the model uses neural networks under the hood, the simulations of the water cycle are learned from data, and yet they are informed and constrained by physical knowledge. The simulated patterns lie within the range of existing hydrological models and are plausible. The hybrid modeling approach has the potential to tackle key environmental questions from a novel perspective.

A key result was the decomposition of the terrestrial water storage signal into the components of snow, soil moisture, and groundwater in a data-driven yet physically consistent way.

Das DUKE Projekt

Das Projekt DUKE (Deep-learning-based hybrid uncertainty-aware modelling of the coupled water and carbon cycle with Earth observation data) zielt darauf ab, die Forschungspfade der hybriden Modellierung und der Unsicherheitsbewertung weiterzuentwickeln und zu kombinieren. Das Projekt ist eine Kooperation zwischen dem Max-Planck-Institut für Biogeochemie und dem Lehrstuhl für Fernerkundungstechnik an der Technischen Universität München.

DUKE konzentriert sich auf das reale Problem der Modellierung globaler Stofftransportkreisläufe, insbesondere auf die derzeit noch offene Frage der Kopplung von Wasser- und Kohlenstoffkreislauf. Hier bietet eine datengetriebene Perspektive enormes Potenzial, da die meist starren Randbedingungen und Parametrisierungen in Prozessmodellen zu systematischen Abweichungen in den Simulationen führen. Darüber hinaus ist die Quantifizierung von Unsicherheiten sowohl für die Modellentwicklung als auch für die Prüfung alternativer Hypothesen unerlässlich.

Die Ansätze aus der Unsicherheitsquantifizierung (TUM) werden in das von der MPI-Gruppe entwickelte gekoppelte Hybridmodell integriert, um so ein auf Unsicherheit ausgerichtetes Hybridmodell des gekoppelten Kohlenstoff-Wasser-Kreislaufs zu erhalten.

Ausgewählte Publikationen

Basil Kraft, Martin Jung, Marco Körner, Sujan Koirala, and Markus Reichstein, "Towards hybrid modeling of the global hydrological cycle," Hydrology and Earth System Sciences 26 (6), 1579-1614 (2022).
Basil Kraft, Martin Jung, Marco Körner, Christian Requena Mesa, José Cortés, and Markus Reichstein, "Identifying dynamic memory effects on vegetation state using recurrent neural networks," Frontiers in Big Data 2, 31 (2019).

Publikationen

1.
Samuel Upton, Markus Reichstein, Fabian Gans, Wouter Peters, Basil Kraft, and Ana Bastos, "Constraining biospheric carbon dioxide fluxes by combined top-down and bottom-up approaches," Atmospheric Chemistry and Physics 24 (4), 2555-2582 (2024).
2.
Jacob A. Nelson, Sophia Walther, Fabian Gans, Basil Kraft, Ulrich Weber, Kimberly Novick, Nina Buchmann, Mirco Migliavacca, Georg Wohlfahrt, Ladislav Šigut, Andreas Ibrom, Dario Papale, Mathias Göckede, Gregory Duveiller, Alexander Knohl, Lukas Hörtnagl, Russell L. Scott, Weijie Zhang, Zayd Mahmoud Hamdi, Markus Reichstein, Sergio Aranda-Barranco, Jonas Ardö, Maarten Op de Beeck, Dave Billdesbach, David Bowling, Rosvel Bracho, Christian Brümmer, Gustau Camps-Valls, Shiping Chen, Jamie Rose Cleverly, Ankur Desai, Gang Dong, Tarek S. El-Madany, Eugenie Susanne Euskirchen, Iris Feigenwinter, Marta Galvagno, Giacomo Gerosa, Bert Gielen, Ignacio Goded, Sarah Goslee, Christopher Michael Gough, Bernard Heinesch, Kazuhito Ichii, Marcin Antoni Jackowicz-Korczynski, Anne Klosterhalfen, Sara Knox, Hideki Kobayashi, Kukka-Maaria Kohonen, Mika Korkiakoski, Ivan Mammarella, Gharun Mana, Riccardo Marzuoli, Roser Matamala, Stefan Metzger, Leonardo Montagnani, Giacomo Nicolini, Thomas O'Halloran, Jean-Marc Ourcival, Matthias Peichl, Elise Pendall, Borja Ruiz Reverter, Marilyn Roland, Simone Sabbatini, Torsten Sachs, Marius Schmidt, Christopher R. Schwalm, Ankit Shekhar, Richard Silberstein, Maria Lucia Silveira, Donatella Spano, Torbern Tagesson, Gianluca Tramontana, Carlo Trotta, Fabio Turco, Timo Vesala, Caroline Vincke, Domenico Vitale, Enrique R. Vivoni, Yi Wang, William Woodgate, Enrico A. Yepez, Junhui Zhang, Donatella Zona, and Martin Jung, "X-BASE: the first terrestrial carbon and water flux products from an extended data-driven scaling framework, FLUXCOM-X", in EGUsphere, (2024).
3.
Wantong Li, Markus Reichstein, Sungmin O, Carla May, Georgia Destouni, Mirco Migliavacca, Basil Kraft, Ulrich Weber, and René Orth, "Contrasting drought propagation into the terrestrial water cycle between dry and wet regions," Earth's Future 11 (7), e2022EF003441 (2023).
4.
Hoon Taek Lee, Martin Jung, Nuno Carvalhais, Tina Trautmann, Basil Kraft, Markus Reichstein, Matthias Forkel, and Sujan Koirala, "Diagnosing modeling errors in global terrestrial water storage interannual variability," Hydrology and Earth System Sciences 27 (7), 1531-1563 (2023).
5.
Reda ElGhawi, Basil Kraft, Christian Reimers, Markus Reichstein, Marco Körner, Pierre Gentine, and Alexander J. Winkler, "Hybrid modeling of evapotranspiration: inferring stomatal and aerodynamic resistances using combined physics-based and machine learning," Environmental Research 18, 034039 (2023).
6.
Markus Reichstein, Bernhard Ahrens, Basil Kraft, Gustau Camps-Valls, Nuno Carvalhais, Fabian Gans, Pierre Gentine, and Alexander Winkler, "Combining system modeling and machine learning into hybrid ecosystem modeling", in Knowledge-Guided Machine Learning, edited by Ramakrishnan Kannan and Vipin Kumar (Chapman & Hall, London, 2022), pp. 327-352.
7.
Basil Kraft, Martin Jung, Marco Körner, Sujan Koirala, and Markus Reichstein, "Towards hybrid modeling of the global hydrological cycle," Hydrology and Earth System Sciences 26 (6), 1579-1614 (2022).
8.
Basil Kraft, Deep learning and hybrid modeling of global vegetation and hydrology, PhD Thesis, Technical University of Munich, 2022.
9.
Basil Kraft, Simon Besnard, and Sujan Koirala, "Emulating ecological memory with recurrent neural networks", in Deep Learning for the Earth Sciences: A Comprehensive Approach to Remote Sensing, Climate Science, and Geosciences, edited by Gustau Camps-Valls, Devis Tuia, Xiao Xiang Zhu, and Markus Reichstein (John Wiley & Sons Ltd, Hoboken, New Jersey, 2021), pp. 269-281.
10.
Basil Kraft, Martin Jung, M. Körner, and Markus Reichstein, "Hybrid modeling: Fusion of a deep approach and physics-based model for global hydrological modeling," The International Archives of Photogrammetry, Remote Sensing and Spatial Information Sciences XLIII-B2-2020, 1537-1544 (2020).
Mehr anzeigen
Zur Redakteursansicht