Mehrdimensionale lineare Regression/Rechenbeispiel

Einführung

Diese Lernressource enthält elementare Rechenbeispiele zu der Lernressource "Mehrdimensionale lineare Regression"

Matrixmultiplikation

Lineare Regression kann man als Optimierungsproblem verstehen, bei der man den Fehler für die 3D-Datenpunkte versucht über alle Datenpunkte zu minimieren.

A={\begin{pmatrix}1&3&5\\2&4&6\\\end{pmatrix}},\quad b={\begin{pmatrix}5\\8\end{pmatrix}}

Datenpaare (x,y)

Als Beispieldaten verwenden wir im affinen Modell

x={\begin{pmatrix}4\\2\\1\end{pmatrix}},\quad y={\begin{pmatrix}31\\19\end{pmatrix}}

Matrixmultiplikation und Translation

Für ein affines Modell berechnet man den Bildvektor $f(x)$ durch eine Matrixmultiplikation $A\cdot x$ und anschließender Translation über $f(x)=A\cdot x+b$ . Mit dem obigen Beispielvektor ergibt sich:

A\cdot x={\begin{pmatrix}15\\22\end{pmatrix}}\qquad A\cdot x+b={\begin{pmatrix}30\\20\end{pmatrix}}

Definition der affinen Abbildung

Mit $A\in Mat(2\times 3,\mathbb {R}$ definiert man die affine Abbildung wie folgt:

{\begin{array}{rrcl}f:&\mathbb {R} ^{n}&\rightarrow &\mathbb {R} ^{m}\\&x&\mapsto &f\left(x\right)=A\cdot x+b\end{array}}

Darstellende Matrix und Translationsvektor gesucht

Die darstellende Matrix $A$ und Translationsvektor $b$ sind gesucht und werden durch z.B. numerisch berechnet.

Transformation affines Problem in lineares

Die affine Abbildung $f(x)=A\cdot x+b\in \mathbb {R} ^{2}$ bildet mit $f(x)$ nach $\mathbb {R} ^{2}$ ab. gegeben, dann transformiert man die affine Abbildung in eine lineare Funktion mit einer Matrix $A^{\ast }\in Mat(m\times n+1,\mathbb {R} )$ . Diese lineare Abbildung hat dann folgende Gestalt.

f^{\ast }(x)=A^{\ast }\cdot x^{\ast }\in \mathbb {R} ^{m},

mit $x^{\ast }:=(x_{1},x_{2},x_{n},1)\in \mathbb {R} ^{4}$ und $A^{\ast }:=(A,b)\in Mat(2\times 4,\mathbb {R} )$

Erweiterte Matrix - erweiterter Vektor

Mit den oben gegebenen Matrizen $A$ und dem Vektor $b$ erhält man die erweiterte Matrix $A^{\ast }$ und den erweiterten Vektor $x^{\ast }$ wie folgt:

A^{\ast }={\begin{pmatrix}1&3&5&5\\2&4&6&8\\\end{pmatrix}},\quad x^{\ast }={\begin{pmatrix}4\\2\\1\\1\end{pmatrix}}

Beispieldaten für das lineares Funktional

Als konkretes Beispiel eines Datenpunktes für ein mehrdimensionales lineares Modell wählt man z.B. für $x=(x_{1},x_{2},x_{3},x_{4})\in \mathbb {R} ^{3}$ , $y=(y_{1},y_{2})\in \mathbb {R} ^{2}$ . Damit wäre der Datenpunkt

(x,y)=(x_{1},x_{2},x_{3},x_{4},y_{1},y_{2})\in \mathbb {R} ^{5}

Dabei bezeichnet $x=(x_{1},x_{2},x_{3},x_{4})\in \mathbb {R} ^{4}$ einen Punkt im dreidimensionalen Raum und $y=(y_{1},y_{2})\in \mathbb {R} ^{2}$ z.B. Temperatur $y_{1}$ und die Luftfeuchtigkeit $y_{2}$ als Messungen an dem Ort $x=(x_{1},x_{2},x_{3},x_{4})\in \mathbb {R} ^{4}$ .

Komponentenfunktionen

Durch die Transformation von affinen Abbildungen in lineare Abbildung betrachtet man nun Komponentenfunktionen von linearen Abbildung der Form $f(x):=A\cdot x$ , wobei $A$ eine $Mat(m\times n,\mathbb {R} )$ ist.

Matrix und Abbildung

Über die Matrix $A\in Mat(2\times 3,\mathbb {R} )$ sei $f_{A}:\mathbb {R} ^{3}\to \mathbb {R} ^{2}$ für den Spaltenvektor $x\in \mathbb {R} ^{2}$ wie $f_{A}(x):=A\cdot x$ folgt definiert:

A={\begin{pmatrix}a_{1,1}&a_{1,2}&a_{1,3}\\a_{2,1}&a_{2,2}&a_{2,3}\\\end{pmatrix}}={\begin{pmatrix}a_{1}\\a_{2}\\\end{pmatrix}},\quad x={\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}

Matrixmultiplikation und Skalarprodukt

Die Komponentenfunktionen einer Matrixmultiplikation sind Skalarprodukte.

f_{A}(x):=A\cdot x={\begin{pmatrix}a_{1,1}\cdot x_{1}+a_{1,2}\cdot x_{2}+a_{1,3}\cdot x_{3}\\a_{2,1}\cdot x_{1}+a_{2,2}\cdot x_{2}+a_{2,3}\cdot x_{3}\end{pmatrix}}={\begin{pmatrix}\langle a_{1},x\rangle \\\langle a_{2},x\rangle \\\end{pmatrix}}

Beispiel für Komponentenfunktion

Für folgenden Matrix $A$

A={\begin{pmatrix}1&3&5\\2&4&6\\\end{pmatrix}},\quad x={\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\\\end{pmatrix}}

ergeben sich daher die folgenden Komponentenfunktionen:

{\begin{array}{rcl}f_{a_{1}}(x)&=&\langle a_{1},x\rangle =1\cdot x_{1}+3\cdot x_{2}+5\cdot x_{3}\\f_{a_{2}}(x)&=&\langle a_{2},x\rangle =2\cdot x_{1}+3\cdot x_{2}+6\cdot x_{3}\\\end{array}}

Regression - Funktion gesucht

Bei der Regression betrachtet man eine Fehlerfunktion und dabei vertauscht man die Rolle von Argumenten einer Funktion und statischen Variableninhalten, denn in funktionalen Betrachtung von $f_{A}(x)=A\cdot x$ ist $A$ bekannt und das Argument $x$ die unabhängige Variable, mit der $y=f_{A}(x)=A\cdot x$ berechnet wird. Bei der linearen Regression sind Ein-Ausgabepaare $(x^{(k)},y^{(k)})\in \mathbb {R} ^{n}\times \mathbb {R} ^{m}$ bekannt und man sucht die Matrix $A$ , die die Datenpunkte möglichst gut approximiert.

Fehlervektor

Der Fehlervektor gibt komponentenweise an, ob der von $f_{A}(x):=A\cdot x$ berechnete Vektor im Vergleich zu dem Datenvektor $y$ zu klein ( $>0$ ) oder zu groß ist ( $<0$ ). Der Fehlervektor erhält man nun über:

{\begin{array}{rcl}f_{A}(x)-y&=&f_{A}(4,2,1)-{\begin{pmatrix}31\\19\end{pmatrix}}\\&=&{\begin{pmatrix}30\\20\end{pmatrix}}-{\begin{pmatrix}31\\19\end{pmatrix}}={\begin{pmatrix}-1\\1\end{pmatrix}}\\\end{array}}

Erläuterung - Fehlervektor

Der Fehlervektor $f_{A}(x)-y\in \mathbb {R} ^{2}$ gibt in dem obigen Beispiel mit der Matrix $A$ an, dass bei Eingabe von $x=(4,2,1)$ der berechnete Vektor $f_{A}(x)$ in der Wert ersten Komponent um 1 zu klein im Vergleich zum Messwert $y_{1}$ ist und in der zweiten Komponente der berechnete Wert $\langle a_{2},x\rangle$ 1 Einheit oberhalb des Messwertes $y_{2}$ liegt.