Hybrid and explainable deep learning (HDL) Gruppe
Die Forschungsgruppe erforscht Ansätze zur Nutzung von Deep Learning für das Prozessverständnis durch erklärbares maschinelles Lernen (XAI) und hybride Modellierung, die Kombination von physikalisch basierter Modellierung und maschinellem Lernen. Wissenschaftliche Erkenntnisse können entweder über eingebaute Mechanismen (z.B. hybride Modellierung) oder über post-hoc Erklärungen erreicht werden. Beide Ansätze sind motiviert durch die ständig wachsende Menge an Erdbeobachtungsdaten, die begrenzte Fähigkeit traditioneller, physikalisch basierter Modelle, beobachtete Muster zu reproduzieren, und die Fähigkeit moderner Deep-Learning-Ansätze, das Verhalten komplexer Erdsystemprozesse zu approximieren.
Explainable machine learning
Die Dynamik von Ökosystemen und Erdsystemprozessen im Allgemeinen lässt sich oft nur schwer modellieren und vorhersagen, und selbst heute sind viele Ansätze des maschinellen Lernens nicht in der Lage, zeitliche Abhängigkeiten zu kodieren, die dynamische natürliche Systeme typischerweise kennzeichnen. Deep Learning-Ansätze im Zeitbereich (z. B. rekurrente neuronale Netze) sind jedoch konzeptionell in der Lage, solche Probleme zu lösen. Solche Modelle lassen sich nur schwer oder gar nicht physikalisch interpretieren, was die aus ihnen gewonnenen wissenschaftlichen Erkenntnisse einschränkt
Ansätze aus XAI können jedoch den Prozess der Modellentwicklung und der Fehlersuche unterstützen, das Modellverhalten rechtfertigen und sogar die Destillation von Erkenntnissen aus maschinellen Lernmodellen ermöglichen. Wir konzentrieren uns auf zeitliche Abhängigkeiten zwischen Antriebsvariablen wie Niederschlag und der Reaktion des Ökosystems (z. B. dargestellt durch den Vegetationszustand).
In einem ersten Versuch, Deep Learning anzuwenden, um die Dynamik von Ökosystemen besser zu verstehen (Kraft et al., 2019), haben wir einen permutationsbasierten Ansatz verwendet, um Memoryeffekte auf den Vegetationszustand zu identifizieren. Diese Forschung wird mit neueren Ansätzen aus dem erklärenden maschinellen Lernen fortgesetzt.
Erklärbarkeit durch eingebaute Mechanism: Hybrides Modellieren
Mit der Kombination von maschinellem Lernen und physikalisch basierter Modellierung (hybriden Modellierung) sollen Möglichkeiten erforscht und weiterentwickelt werden, um trotz des Black-Box-Charakters der verwendeten Modelle wissenschaftliche Erkenntnisse über die beobachteten Phänomene zu gewinnen und damit das Potenzial von zeitlichen Deep-Learning-Ansätzen für die Modellierung von Ökosystemprozessen nutzen zu können.
Erste Anwendung von hybrider Modellierung in der Erdsystemforschung
In a recent publication (Kraft et al., 2022), we presented a physics-aware machine learning model of the global hydrological cycle. As the model uses neural networks under the hood, the simulations of the water cycle are learned from data, and yet they are informed and constrained by physical knowledge. The simulated patterns lie within the range of existing hydrological models and are plausible. The hybrid modeling approach has the potential to tackle key environmental questions from a novel perspective.
A key result was the decomposition of the terrestrial water storage signal into the components of snow, soil moisture, and groundwater in a data-driven yet physically consistent way.
Das DUKE Projekt
Das Projekt DUKE (Deep-learning-based hybrid uncertainty-aware modelling of the coupled water and carbon cycle with Earth observation data) zielt darauf ab, die Forschungspfade der hybriden Modellierung und der Unsicherheitsbewertung weiterzuentwickeln und zu kombinieren. Das Projekt ist eine Kooperation zwischen dem Max-Planck-Institut für Biogeochemie und dem Lehrstuhl für Fernerkundungstechnik an der Technischen Universität München.
DUKE konzentriert sich auf das reale Problem der Modellierung globaler Stofftransportkreisläufe, insbesondere auf die derzeit noch offene Frage der Kopplung von Wasser- und Kohlenstoffkreislauf. Hier bietet eine datengetriebene Perspektive enormes Potenzial, da die meist starren Randbedingungen und Parametrisierungen in Prozessmodellen zu systematischen Abweichungen in den Simulationen führen. Darüber hinaus ist die Quantifizierung von Unsicherheiten sowohl für die Modellentwicklung als auch für die Prüfung alternativer Hypothesen unerlässlich.
Die Ansätze aus der Unsicherheitsquantifizierung (TUM) werden in das von der MPI-Gruppe entwickelte gekoppelte Hybridmodell integriert, um so ein auf Unsicherheit ausgerichtetes Hybridmodell des gekoppelten Kohlenstoff-Wasser-Kreislaufs zu erhalten.