Hochdimensionale Approximation und statistisches Lernen (LV / Vorlesung)

Die Vorlesung befasst sich mit dem aktuellen Gebiet der Approximation hochdimensionaler Funktionen. Das Augenmerk liegt dabei auf Funktionen mit gewissen strukturellen Eigenschaften, die sich nutzen lassen, um effiziente (diskrete) Darstellungen zu bestimmen. Wir sind insbesondere interessiert daran, theoretische Aussagen über die Eigenschaften der Funktionen und die dafür erforderlichen Darstellungen zu gewinnen, wobei Konvergenz- und Komplexitätsresultate eine zentrale Rolle spielen.

Den theoretischen Rahmen dafür bildet das statistische Lernen, wobei unterschiedliche (statistische und deterministische) Fehleranteile explizit hinsichtlich einer empirischen Minimierung behandelt werden. Als besonders ergiebiges Problemgebiet eignen sich (zufällige) parametrische PDEs, die im Gebiet der Unsicherheitsbestimmung große Bedeutung erlangt haben und inzwischen (für unsere Zwecke) hinreichend verstanden sind.

Für die approximative Darstellung der Lösung solcher PDEs betrachten wir zwei moderne Methoden, die auf tiefen Netzwerkstrukturen basieren. Zum einen handelt es sich hierbei um hierarchische Tensorformate, die vereinfacht als eine Verallgemeinerung der Niedrigrangdarstellung von Matrizen verstanden werden können und eine reiche mathematische Struktur aufweisen. Zum anderen untersuchen wir tiefe Neuronale Netze (NN), mit denen in den letzten Jahren beachtliche Erfolge in verschiedenen praktischen Bereichen erzielt wurden, deren mathematische Eigenschaften jedoch erst unvollständig aufgedeckt wurden. Beide Methoden sind prinzipiell in der Lage, bei gefälliger Problemstruktur dem sogenannten Fluch der Dimension - also ein exponentielles Wachstum der Problemkomplexität - zu entgehen.

Inhalte

   Darstellung stochastischer Felder

   parametrische PDEs mit zufälligen Daten

   adaptive stochastische Galerkin FEM

   hierarchische Tensorformate (HT, matrix product states)

   alternierende Löser und Tensorregression

   Expressivität von NNs

   Konvergenz von NNs für PDEs

   empirische Risikominimierung mit Tensoren und NNs

Voraussetzungen

Möglichst mehrere der folgenden Vorlesungen sollte bereits absolviert worden sein:

   Funktionalanalysis

   Differentialgleichungen

   Numerik Partieller Differentialgleichungen

   Wissenschaftliches Rechnen 

Die Vorlesung befasst sich mit dem aktuellen Gebiet der Approximation hochdimensionaler Funktionen. Das Augenmerk liegt dabei auf Funktionen mit gewissen strukturellen Eigenschaften, die sich nutzen lassen, um effiziente (diskrete) Darstellungen zu bestimmen. Wir sind insbesondere interessiert daran, theoretische Aussagen über die Eigenschaften der Funktionen und die dafür erforderlichen Darstellungen zu gewinnen, wobei Konvergenz- und Komplexitätsresultate eine zentrale Rolle spielen.

Den theoretischen Rahmen dafür bildet das statistische Lernen, wobei unterschiedliche (statistische und deterministische) Fehleranteile explizit hinsichtlich einer empirischen Minimierung behandelt werden. Als besonders ergiebiges Problemgebiet eignen sich (zufällige) parametrische PDEs, die im Gebiet der Unsicherheitsbestimmung große Bedeutung erlangt haben und inzwischen (für unsere Zwecke) hinreichend verstanden sind.

Für die approximative Darstellung der Lösung solcher PDEs betrachten wir zwei moderne Methoden, die auf tiefen Netzwerkstrukturen basieren. Zum einen handelt es sich hierbei um hierarchische Tensorformate, die vereinfacht als eine Verallgemeinerung der Niedrigrangdarstellung von Matrizen verstanden werden können und eine reiche mathematische Struktur aufweisen. Zum anderen untersuchen wir tiefe Neuronale Netze (NN), mit denen in den letzten Jahren beachtliche Erfolge in verschiedenen praktischen Bereichen erzielt wurden, deren mathematische Eigenschaften jedoch erst unvollständig aufgedeckt wurden. Beide Methoden sind prinzipiell in der Lage, bei gefälliger Problemstruktur dem sogenannten Fluch der Dimension - also ein exponentielles Wachstum der Problemkomplexität - zu entgehen.

Inhalte

   Darstellung stochastischer Felder

   parametrische PDEs mit zufälligen Daten

   adaptive stochastische Galerkin FEM

   hierarchische Tensorformate (HT, matrix product states)

   alternierende Löser und Tensorregression

   Expressivität von NNs

   Konvergenz von NNs für PDEs

   empirische Risikominimierung mit Tensoren und NNs

Voraussetzungen

Möglichst mehrere der folgenden Vorlesungen sollte bereits absolviert worden sein:

   Funktionalanalysis

   Differentialgleichungen

   Numerik Partieller Differentialgleichungen

   Wissenschaftliches Rechnen