Mehrdimensionale lineare Regression

Lernvoraussetzungen[Bearbeiten]

Für die folgenden Lernressource über mehrdimensionale lineare Regression ist es hilfreich den grundlegenden Fall einer linearen Regression für Abbildungen $f:\mathbb {R} \to \mathbb {R}$ zu betrachten.

Mehrdimensionale lineare Regression[Bearbeiten]

Im Unterschied zu dem eindimensionalen Fall für $x$ und $y$ bei der oben veranschaulichten lineare Regression beschreibt eine multiple lineare Regressionsanalyse einen linearen Zusammen zwischen unabhängigen Vektor $x\in \mathbb {R} ^{n}$ und einem davon abhängigen Vektor $y\in \mathbb {R} ^{m}$ .

Gliederung[Bearbeiten]

Daten und Abbildungen - (Foliensatz)
- Affine Abbildung in R
- Rechenbeispiel
Transformation - affin zu linear
Zerlegung einer linearen Abbildung in Komponentenfunktionen
Regression für Komponentenfunktion - exakte Lösung und Approximation
Gradient - lineares Funktional - (Foliensatz)
Gradientenabstieg und Fehlerfunktion
Fehlerminimierung und Lernrate - (Foliensatz)

Daten für die Regression[Bearbeiten]

Die Daten $\mathbb {D}$ für die mehrdimensionale lineare Regression bestehen aus Datenpunkten der Form $(x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}$ :

\mathbb {D} :=\left\{(x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}\ \colon \ i\in \{1,\ldots ,d\}\right\}

Rechenbespiel[Bearbeiten]

Parallel zu den folgenden Ausführung ist ein Rechenbeispiel ausgeführt

Daten für das Lineare Modell[Bearbeiten]

Analog zu einem eindimensionalen Fall für $x\in \mathbb {R}$ , $y\in \mathbb {R}$ und einem Datenpunkt $(x,y)\in \mathbb {R} ^{2}$ hat man bei mehrdimensionale lineare Regression Datenpunkte der Form $(x,y)\in \mathbb {R} ^{n+m}$ für $x\in \mathbb {R} ^{n}$ , $y\in \mathbb {R} ^{m}$

Ziel der affinen Regression[Bearbeiten]

Für die Abbildung $f(x)=A\cdot x+b\in \mathbb {R} ^{m}$ und Daten $\mathbb {D} :=\{(x^{(1)},y^{(1)},\ldots ,(x^{(m)},y^{(m)})\}$ sucht man eine geeignete Matrix $A\in Mat(m\times n,\mathbb {R} )$ und einem Vektor $b\in \mathbb {R} ^{m}$ , sodass der aggregierte quadratische Fehler $E(A,b)$ über alle Daten aus $\mathbb {D}$ möglichst klein wird.

E(A,b):=\sum _{k=1}^{m}\|f(x^{(k)})-y^{(k)}\|^{2}{\mbox{ minimal }}

Bemerkung - Fehler[Bearbeiten]

Dabei ist $\|\cdot \|:\mathbb {R} ^{m}\to \mathbb {R} _{o}^{+}$ eine Norm auf dem Wertebereich der Funktion.

Animation - Multiple lineare Regression[Bearbeiten]

In der folgenden Animation hat man zweidimensionale Datenpunkte $(x_{1},x_{2})\in \mathbb {R} ^{2}$ als unabhängige Variablen und einer eindimensionalen abhängigen Variablen $y_{1}\in \mathbb {R}$ . Der Graph der affinen Abbildung $f:\mathbb {R} ^{2}\to \mathbb {R}$ stellt eine Ebenen im dreidimensionalen Raum $\mathbb {R} ^{3}=\mathbb {R} ^{2}\times \mathbb {R}$ dar, wobei die Datenpunkten die Form $(x_{1},x_{2},y_{1})\in \mathbb {R} ^{3}$ besitzen.

Transformation - affin nach linear[Bearbeiten]

Durch eine Transformation eines affine Problems $A\cdot x+b=y$ in ein lineares $A^{\ast }x^{\ast }=y$ reduziert man die Lösungsverfahren auf einfachere lineare Zusammenhänge (siehe auch Lösungsverfahren linearer Gleichungssysteme in der Numerik).

Gesamtfehler des mehrdimensionalen Regression[Bearbeiten]

Für die Berechnung des Gesamtfehlers der muss man die quadratischen Fehler über alle Datenpunkte aggregrien. Die Daten $\mathbb {D}$ für die mehrdimensionale lineare Regression bestehen aus Datenpunkten der Form $(x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}$ :

\mathbb {D} :=\left\{(x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}\ \colon \ i\in \{1,\ldots ,d\}\right\}

Berechnung für die Komponenten Funktion[Bearbeiten]

Durch die Zerlegung in Komponentenfunktionen minimiert man den Fehler für jeden Zeile der Matrix separat. Der folgende Gesamtfehler bezieht sich daher auf die Funktion $f_{a}(x):=\langle a,x\rangle$ für ein gesuchtes $a\in \mathbb {R} ^{n}$ mit minimalem Gesamtfehler für die Daten $\mathbb {D}$ .

Berechnung des Gesamtfehlers[Bearbeiten]

Für die Berechnung des Gesamtfehlers $E_{LR}(a,x_{\mathbb {D} },y_{\mathbb {D} })$ werden die quadratischen Fehler für einzelne Datenpunkte $(x^{(i)},y^{(i)})\in \mathbb {D}$ aufsummiert mit $x_{\mathbb {D} }:=(x^{(1)},\ldots ,x^{(d)})$ und $y_{\mathbb {D} }:=(y^{(1)},\ldots ,y^{(d)})$ .