Mehrdimensionale lineare Regression

Lernvoraussetzungen

Für die folgenden Lernressource über mehrdimensionale lineare Regression ist es hilfreich den grundlegenden Fall einer linearen Regression für Abbildungen $f:\mathbb {R} \to \mathbb {R}$ zu betrachten. Dabei kann $f$ eine (affine) Funktion der Form $f(x)=a\cdot x+b$, wobei die $a,b\in \mathbb {R}$ gesucht sind, die Daten $\mathbb {D}$ mit $(x_{i},y_{i})\in \mathbb {D}$ möglichst gut approximieren.

Mehrdimensionale lineare Regression

Im Unterschied zu dem eindimensionalen Fall für $x\in \mathbb {R}$ und $y\in \mathbb {R}$ der lineare Regression $f(x)=a\cdot x+b$ wird nun auf einen mehrdimensionalen funktionale Zusammenhang $f:\mathbb {R} ^{n}\to \mathbb {R} ^{m}$ mit $f(x)=A\cdot x+b$ erweitert. Dabei ist $A\in Mat(m\times n,\mathbb {R} )$ eine Matrix und $b\in \mathbb {R} ^{m}$ ein Spaltenvektor. $A$ und $b$ sind bei der mehrdimensionale lineare Regression gesucht.

Bemerkung - affin - linear

Aus der linearen Algebra ist bekannt, dass die $f(x)=A\cdot x+b$ nur dann linear ist, wenn $b$ der Nullvektor ist. $f(x)=A\cdot x+b$ ist daher im Allgemeinen nicht linear, sondern eine affine Funktion.

Implementation in R

Zu der Lerneinheit wurden Demodateien in KnitR bereitgestellt, um Berechnung zu mehrdimensionale lineare Regression auch auf dem Rechner nachvollziehen zu können.

Gliederung

• Daten und Abbildungen - (Foliensatz)
  • Affine Abbildung in R
  • Rechenbeispiel
  • Schätzfunktion - eindimensionaler Fall - (Foliensatz)
• Transformation - affin nach linear - (Foliensatz)
• Zerlegung einer linearen Abbildung in Komponentenfunktionen
• Regression für Komponentenfunktion - exakte Lösung und Approximation
• Gradient - lineares Funktional - (Foliensatz)
• Gradientenabstieg und Fehlerfunktion - (Foliensatz)
• Fehlerminimierung und Lernrate - (Foliensatz)
• Gesamtfehler aller Fehlerfunktionen - (Foliensatz)
• Umsetzung in R - (Foliensatz)

Daten für die Regression

Die Daten $\mathbb {D}$ für die mehrdimensionale lineare Regression bestehen aus Datenpunkten der Form $(x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}$:

$\mathbb {D} :=\left\{(x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}\ \colon \ i\in \{1,\ldots ,d\}\right\}$

Rechenbespiel

Parallel zu den folgenden Ausführung ist ein Rechenbeispiel ausgeführt

Daten für das Lineare Modell

Analog zu einem eindimensionalen Fall für $x\in \mathbb {R}$, $y\in \mathbb {R}$ und einem Datenpunkt $(x,y)\in \mathbb {R} ^{2}$ hat man bei mehrdimensionale lineare Regression Datenpunkte der Form $(x,y)\in \mathbb {R} ^{n+m}$ für $x\in \mathbb {R} ^{n}$, $y\in \mathbb {R} ^{m}$

Ziel der affinen Regression

Für die Abbildung $f(x)=A\cdot x+b\in \mathbb {R} ^{m}$ und Daten $\mathbb {D} :=\{(x^{(1)},y^{(1)},\ldots ,(x^{(d)},y^{(d)})\}$ sucht man eine geeignete Matrix $A\in Mat(m\times n,\mathbb {R} )$ und einem Vektor $b\in \mathbb {R} ^{m}$, sodass der aggregierte quadratische Fehler $E_{MLR}(A,b)$ über alle Daten aus $\mathbb {D}$ möglichst klein wird.

$E_{MLR}(A,b,\mathbb {D} ):=\sum _{k=1}^{m}\|f(x^{(k)})-y^{(k)}\|^{2}{\mbox{ minimal }}$

Bemerkung - affin zu linear

In dem Unterkapitel Transformation - affin nach linear wird gezeigt, dass man sich bei Lösungsverfahren bei affinen Abbildungen $f(x)=A\cdot x+b$ auf den linearen Fall $f(x)=A\cdot x$ beschränken kann. Dadurch ergibt sich für die iterative Umsetzung in R eine vereinfachte Fehlerfunktion $E_{MLR}$ für Daten $\mathbb {D} :=\{(x^{(1)},y^{(1)},\ldots ,(x^{(d)},y^{(d)})\}$ mit $x_{\mathbb {D} }=\left(x^{(1)},\ldots ,x^{(d)}\right)$ und $y_{\mathbb {D} }=\left(y^{(1)},\ldots ,y^{(d)}\right)$:

$E_{MLR}(A,x_{\mathbb {D} },y_{\mathbb {D} }):=\sum _{k=1}^{d}\|f(x^{(k)})-y^{(k)}\|^{2}{\mbox{ minimal }}$

Bemerkung - Norm zu Messung des Fehlers

Dabei ist $\|\cdot \|:\mathbb {R} ^{m}\to \mathbb {R} _{o}^{+}$ eine Norm auf dem Wertebereich der Funktion. Man kann mit der Norm die Länge des mehrdimensionalen Fehlervektors messen. Dadurch erhält man einen skalaren Fehler in $\mathbb {R} _{o}^{+}$.

Animation - Multiple lineare Regression

In der folgenden Animation hat man zweidimensionale Datenpunkte $(x_{1},x_{2})\in \mathbb {R} ^{2}$ als unabhängige Variablen und einer eindimensionalen abhängigen Variablen $y_{1}\in \mathbb {R}$. Der Graph der affinen Abbildung $f:\mathbb {R} ^{2}\to \mathbb {R}$ stellt eine Ebenen im dreidimensionalen Raum $\mathbb {R} ^{3}=\mathbb {R} ^{2}\times \mathbb {R}$ dar, wobei die Datenpunkten die Form $(x_{1},x_{2},y_{1})\in \mathbb {R} ^{3}$ besitzen.

Transformation - affin nach linear

Durch eine Transformation eines affine Problems $A\cdot x+b=y$ in ein lineares $A^{\ast }x^{\ast }=y$ reduziert man die Lösungsverfahren auf einfachere lineare Zusammenhänge (siehe auch Lösungsverfahren linearer Gleichungssysteme in der Numerik).

Siehe auch

• lineare Regression in R
• Kurs:Mehrdimensionale lineare Regression
• Kurs:Numerik I
• Gradient (Mathematik)
• Gradientenabstiegsverfahren
• Laden und Speichern von CSV-Dateien in R
• Kurs:Maschinelles Lernen

Seiteninformation

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Wiki2Reveal

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Kurs:Maschinelles Lernen' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.

• Die Seite wurde als Dokumententyp PanDocElectron-SLIDE erstellt.
• Link zur Quelle in Wikiversity: https://de.wikiversity.org/wiki/Kurs:Maschinelles%20Lernen/Mehrdimensionale%20lineare%20Regression
• siehe auch weitere Informationen zu Wiki2Reveal und unter Wiki2Reveal-Linkgenerator.