Kurs:Maschinelles Lernen/Hypothesen aus Daten ableiten

Vorherige Seite: K1 - Grundbegriffe des maschinellen Lernens
Nächste Seite: K2 - Lineare Regression in einer Dimension

Formulierung des Problems

Mit dem vorliegenden Datensatz $𝔻 := {(x_{i}, y_{i}) : i \in {1, ..., N}}$ hat man Informationen zwar endlich viele über eine unbekannte Funktion $f : X \to Y$ . Eine Hypothese ist ebenfalls eine Funktion $h : X \to Y$ aus einem Hypothesenraum $H$ aller Abbildungen von $X$ nach $Y$ . Wie auf der vorherigen Seite bereits bemerkt, wird dazu der Hypothesenraum auf bestimmte Funktionsklassen eingeschränkt.

Parametrisierte Funktionenräume

Es bietet sich an, dazu ein Modell mit einer gewissen Anzahl an Parametern zu entwerfen. Diese Parameter können zu einem Vektor $\vec{w} \in ℝ^{n}$ (oder auch Matrix $W \in M a t (m \times n, ℝ)$ ) als Parameterdarstellung zusammengefasst werden. Der betrachtete Hypothesenraum $H_{n}$ ist ein Funktionenraum mit den Hypothesen, die man als Abbildungen $h : X \to Y$ darstellt. Formal beschreibt $h \in H_{n}$ , dass die Funktion $h$ durch einen $n$ -dimensionalen Vektor dargestellt wird. $H_{n}$ ist damit eine Teilmenge des gesammten Hypothesenraums $H$ .

Beispiel - Darstellung von Funktionen durch Vektoren

In dem Beispiel wird erläutert, wie man die Klasse der affin-lineare Funktionen durch einen Hypothesen $H_{2} = ℝ^{2}$ darstellen kann. Dabei stellt ein Vektor $w = (w_{1}, w_{2}) \in ℝ^{2}$ die folgende Funktion $f_{w}$ dar:

\begin{matrix} f_{w} : & ℝ & \to & ℝ \\ x & \mapsto & f_{w} (x) = w_{1} \cdot x + w_{2} \end{matrix}

Mit Trainingsdaten $𝔻 := {(x_{i}, y_{i}) : i \in {1, ..., N}}$ wird in diesem einfachen Fall die Suche nach der besten approximierenden Funktion $f_{w}$ durch die lineare Regression gelöst.

Bemerkung - Berechenbarkeit von optimalen Approximationen der unbekannten Funktion f

Im allgemeinen Fall gibt es nicht notwendigerweise explizite Lösungsverfahren, die beste Approximation liefern. In der Regel werden an dieser Stelle numerische oder statistische Lernverfahren für die Approximation eingesetzt.

Bemerkung - Hypothesenraum 1

Aufgrund der speziellen Wahl von $w = (w_{1}, \dots, w_{n}) \in ℝ^{n}$ kann der betrachtete Hypothesenraum als isomorph zu $ℝ^{n}$ angesehen werden. Wie ein Parametervektor eine Funktion aus dem Hypothesenraum definiert wird über die Funktionenklasse angeben. Dies ist durch die Bezeichnung $H_{n}$ nicht eindeutig festgelegt.

Beispiel - Hypothesenraum mit zwei unterschiedlichen Funktionsklassen

H_2 In dem Beispiel wird erläutert, wie man durch einen Parametervektor $w = (w_{1}, w_{2}, w_{3}) \in ℝ^{3}$ zwei unterschiedliche Hypothesenräume $H_{3}$ und $\hat{H_{3}}$ darstellen kann.

$H_{3}$ ist ein polynomialer Hypothesenraum von Funktionen und
$\hat{H_{3}}$ ist ein trigonometrischer Hypothesenraum von Funktionen

Polynomialer Hypothesenraum

Für $H_{3}$ stellt ein Vektor $w = (w_{1}, w_{2}, w_{3}) \in ℝ^{3}$ die folgende Funktion $f_{w}$ dar:

\begin{matrix} f_{w} : & ℝ & \to & ℝ \\ x & \mapsto & f_{w} (x) = w_{1} \cdot x^{2} + w_{2} \cdot x + w_{3} \end{matrix}

Mit Trainingsdaten aus dem $ℝ^{2}$ mit $𝔻 := {(x_{i}, y_{i}) \in ℝ^{2} : i \in {1, ..., N}}$ .

Trigonometrischer Hypothesenraum

Für $\hat{H_{3}}$ stellt ein Vektor $w = (w_{1}, w_{2}, w_{3}) \in ℝ^{3}$ die folgende Funktion $\hat{f_{w}}$ dar:

\begin{matrix} \hat{f_{w}} : & ℝ & \to & ℝ \\ x & \mapsto & f_{w} (x) = w_{1} \cdot \sin (w_{2} \cdot x) + w_{3} \end{matrix}

Auch für $\hat{H_{3}}$ stammen die Trainingsdaten aus dem $ℝ^{2}$ mit $𝔻 := {(x_{i}, y_{i}) \in ℝ^{2} : i \in {1, ..., N}}$ . Allerdings stellt der Vektor $w \in ℝ^{3}$ im Vergleich zum polynomialen Hypothesenraum kein Polynom $f_{w}$ , sondern eine trigonometrische Funktion $\hat{f_{w}}$ dar.

Aufgabe des maschinellen Lernens

In diesem Fall besteht die Aufgabe des maschinellen Lernens darin einen Parametervektor $\hat{\vec{w}}$ zu finden, so dass (salopp formuliert) $h_{\hat{\vec{w}}} \approx t$ gilt. Die Parameter $\vec{w}$ können bspw. im Rahmen der Neuronalen Netze die Gewichte der einzelnen Neuronen sein. Auf der anderen Seite gibt, es Parameter, die zwar festgelegt, aber nicht varriert werden, die also nicht in den Parametervektor $\vec{w}$ einfließen. Sie werden als Hyperparameter bezeichnet. Bei Neuronalen Netzen wäre dies bspw. die Zahl der Neuronen und die Architektur des Netzes.

Risiko-, Verlust-, Fehlerfunktion

Um nun $w \in ℝ^{n}$ zu finden, bietet es sich an, die Fehler des Modells durch eine Risikofunktion $R$ oder Fehlerfunktion $E$ ("Error") zu beschreiben.

Risikofunktion

Eine Risikofunktion beschreibt das Risiko $R$ , das bei der Verwendung der Hypothese $h : X \to Y$ als Beschreibung für die unbekannte Funktion $f : X \to Y$

R : H \times H \to ℝ_{0}^{+}, (h, f) \mapsto R (h, f)

entsteht. Die Funktion $R$ wird als Risiko bezeichnet.

Fehlerfunktion

Da $f$ allerdings nicht bekannt ist, berechnet man einen Fehler $E$ auf Grundlage eines vorliegenden Datensatzes $𝔻 = {(x_{1}, y_{1}), (x_{2}, y_{2}), \dots, (x_{N}, y_{N})}$ . Dieses empirische Risiko wird über eine Fehlerfunktion $E$ berechnet, die zu einer Hypothese und Daten $𝔻 \subset X \times Y$

 $E : H \times ℘ (X \times Y) \to ℝ_{0}^{+}, h, 𝔻 \mapsto {\hat{R}}_{D} (h) = \frac{1}{N} \sum_{i = 1}^{N} l (h (x_{i}), y_{i})$

mit der Verlustfunktion (engl. loss function)

 $l : X \times Y \to ℝ_{0}^{+}$

eingeführt. Häufig wird stattdessen das empirische Risiko auch als Funktion des Datensatzes unter vorliegen einer bestimmten Hypothese ${\hat{R}}_{h} (D)$ aufgefasst. An die Verlustfunktion werden zwei Bedingungen gestellt:

Da das Minimum von $\hat{R}$ gesucht werden soll, sollte diese Funktion nach unten beschränkt sein. Gleichzeitig sollen Fehler den Wert des empirischen Risikos erhöhen. Daher sollte für alle Hypothesen, Eingabe- und Ausgabewerte der Zusammenhang $l (h (x), y) \geq 0$ gelten.
Das Minimum einer Funktion kann mit den Methoden der Differentialrechung gefunden werden, wenn die Funktion differenzierbar ist. Da Ableitungen linear sind, muss jeder Summand differenzzierbar sein, womit sich die Bedingung einer differenzierbaren Verlustfunktion motivieren lässt.

Für Regressionen wird häufig der quadratische Fehler

 $l (h (x), y) = (h (x) - y)^{2}$

als Verlustfunktion verwendet.
Für eine Klassifikation wird stattdessen die sog. Kreuzentropie

 $l (h (x), y) = - [y \ln (h (x)) + (1 - y) \ln (1 - h (x))]$

verwendet, wobei hier die Vereinbarung $0 \cdot \ln (0) = 0$ getroffen wird.

Verallgemeinerungsfehler

Da $\hat{R}$ nur eine Näherung für $R$ ist, kann es passieren, dass bei der Minimierung des empirischen Risikos zunächst auch das Risiko sinkt, es aber ab einem bestimmten Punkt wieder ansteigt. Ab diesem Moment passt sich das Modell Ausreißer des vorliegenden Datensatzes an und es wird vom Overfitting gesprochen. Um dies zu Quantifizieren wird der Verallgemeinerungsfehler (engl. generalization gap)

 $G = | R - \hat{R} |$

eingeführt. Dieser soll möglichst klein gehalten werden. In der Praxis wird ein vorliegender Datensatz dazu in drei Teile aufgespalten:

Trainingsdatensatz: Der Trainingsdatensatz $D_{T r}$ besteht aus etwa 70 % der Daten und wird dem Namen entsprechend dazu verwendet, das Modell zu trainieren, also passende Parameter $\vec{w}$ , welche das empirische Risiko minimieren, zu finden. Aus diesem wird ständig der Trainingsfehler $\hat{R} (D_{T r})$ bestimmt, welcher eine monoton fallende Funktion darstellt.
Validierungsdatensatz: Der Validierungsdatensatz $D_{V}$ besteht aus etwa 20 % des Datensatzes und evaluiert während des Trainings für verschiedene Hypothesen das empirische Risiko, woraus der Validierungsfehler $\hat{R} (D_{V})$ bestimmt wird. Dieser wird zwar zunächst fallen, für ein zu lange andauerendes Training aber wieder beginnen zu steigen, da das Modell beginnt, die Ausreißer des Trainingsdatensatzes zu lernen. Der Punkt an dem der Validierungsfehler minimal ist, stellt oft den besten Satz an Parametern dar.
Testdatensatz: Die verbleibenden etwa 10 % des Datensatzes stellen den Testdatensatz $D_{T}$ dar, der verwendet wird, um die Vorhersagekraft des Systems zu bestimmen. Durch auswerten des empirischen Risikos für diesen Datensatz wird der Testfehler $\hat{R} (D_{T})$ zu bestimmen. Um den Verallgemeinerungsfehler abzuschätzen wird die Größe $\hat{G} = | \hat{R} (D_{T r}) - \hat{R} (D_{T}) | \approx G$ bestimmt.