Mehrdimensionale lineare Regression/Gesamtfehler aller Fehlerfunktionen

Einleitung

In den ersten Abschnitten der Lernressource wurde eine lineare Abbildung $f_{A}(x):=A\cdot x\in \mathbb {R} ^{m}$ mit $A\in Mat(m\times n,\mathbb {R} )$ und $x\in \mathbb {R} ^{n}$ in lineare Funktionale der Form $f_{a_{k}}(x):=\langle a_{k},x\rangle \in \mathbb {R}$ zerlegt und für diese linearen Funktionale $f_{a_{k}}$ mit $k\in \{1,\ldots m\}$ eine lineare Regression durchgeführt.

Fehler pro Matrixzeile

Insgesamt trägt jede Matrixzeile durch den Fehler von $f_{a_{k}}(x):=\langle a_{k},x\rangle \in \mathbb {R}$ für jedes $k\in \{1,\ldots m\}$ zum Gesamtfehler der mehrdimensionale linearen Regression der linearen Abbildung $f_{A}(x):=A\cdot x\in \mathbb {R} ^{m}$ bei.

Unabhängige Regression für die Matrixzeilen

Die lineare Regression für $f_{a_{k}}(x):=\langle a_{k},x\rangle \in \mathbb {R}$ können für jedes $k\in \{1,\ldots m\}$ getrennt betrachtet werden, da die Koeffizienten der Matrix $A$ in Abhängigkeit von dem Zeilenindex $k\in \{1,\ldots m\}$ nur auf die $k$ -te Ausgabekomponente über das Skalarprodukt wirken.

Gesamtfehler des mehrdimensionalen Regression

Für die Berechnung des Gesamtfehlers der muss man die quadratischen Fehler über alle Datenpunkte aggregrien. Die Daten $\mathbb {D}$ für die mehrdimensionale lineare Regression bestehen aus Datenpunkten der Form $(x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}$ :

\mathbb {D} :=\left\{(x^{(i)},y^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}\ \colon \ i\in \{1,\ldots ,d\}\right\}

Daten der Komponentenfunktionen

Die gesamten Daten $\mathbb {D}$ werden nun entsprechend Komponente $k\in \{1,\ldots m\}$ aus dem Wertebereich der linearen Abbildung $\mathbb {R} ^{m}$ in $m$ Trainingsdaten $\mathbb {D} _{k}$ für den Komponentenfunktionen $f_{a_{k}}$ zerlegt, wobei jeweils aus $y^{(i)}=(y_{1}^{(i)},\ldots ,y_{m}^{(i)})\in \mathbb {R} ^{m}$ die $k$ -Komponente $y_{k}^{(i)}$ verwendet wird.

\mathbb {D} _{k}:=\left\{(x^{(i)},y_{k}^{(i)})\in \mathbb {R} ^{n}\times \mathbb {R} \ \colon \ i\in \{1,\ldots ,d\}\right\}

Berechnung für die Komponenten Funktion

Durch die Zerlegung in Komponentenfunktionen minimiert man den Fehler für jeden Zeile der Matrix separat. Der folgende Gesamtfehler bezieht sich daher auf die Funktion $f_{a}(x):=\langle a,x\rangle$ für ein gesuchtes $a\in \mathbb {R} ^{n}$ mit minimalem Gesamtfehler für die Daten $\mathbb {D}$ .

Aggregierter Gesamtfehler der Komponentenfunktionen

Für die Berechnung des Gesamtfehlers bzgl. einer Matrix $A$ erfolgt über die Zerlegung von $f_{A}$ werden in die Komponentenfunktionen $f_{a_{k}}$ und der Aggregation der Einzelfehler $E_{LR}(a_{k},x_{\mathbb {D} _{k}},y_{\mathbb {D} _{k}})$ durch Summation über aller Matrixzeilen $k\in 1,\ldots m$ .

{\begin{array}{rcl}E_{MLR}(A,x_{\mathbb {D} },y_{\mathbb {D} })&:=&\displaystyle \sum _{k=1}^{m}E_{LR}(a_{k},x_{\mathbb {D} _{k}},y_{\mathbb {D} _{k}})\\&=&\displaystyle \sum _{k=1}^{m}\sum _{i=1}^{d}e(a,x^{(i)},y_{k}^{(i)})^{2}\\&=&\displaystyle \sum _{k=1}^{m}\sum _{i=1}^{d}\left(\langle a,x^{(i)}\rangle -y_{k}^{(i)}\right)^{2}\\\end{array}}

Dimension der Daten

Die Zerlegung von $f_{A}$ in die Komponentenfunktionen $f_{a_{k}}$ verändert in der obigen Notation nur die Dimension der Daten im Wertebereich der linearen Abbildung, denn mit $(x^{(i)},y^{(i)})\in \mathbb {D} \subset \mathbb {R} ^{n}\times \mathbb {R} ^{m}$ gilt $x_{\mathbb {D} }=(x^{(1)},\ldots ,x^{(d)})=x_{\mathbb {D} _{k}}$ aber $y_{\mathbb {D} }=(y^{(1)},\ldots ,y^{(d)})\in \mathbb {R} ^{d\cdot m}$ und $y_{\mathbb {D} _{k}}=(y_{k}^{(1)},\ldots ,y_{k}^{(d)})\in \mathbb {R} ^{d}$ .