Diese Lernressource enthält elementare Rechenbeispiele zu der Lernressource "Mehrdimensionale lineare Regression"
Matrixmultiplikation[Bearbeiten]
Lineare Regression kann man als Optimierungsproblem verstehen, bei der man den Fehler für die 3D-Datenpunkte versucht über alle Datenpunkte zu minimieren.
![{\displaystyle A={\begin{pmatrix}1&3&5\\2&4&6\\\end{pmatrix}},\quad b={\begin{pmatrix}5\\8\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/ecdfacb045bdc0796e85c27c4b92009565eef938)
Als Beispieldaten verwenden wir im affinen Modell
![{\displaystyle x={\begin{pmatrix}4\\2\\1\end{pmatrix}},\quad y={\begin{pmatrix}31\\19\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c09a2a8f2112e08b98de4445c71b4588692d9e9a)
Matrixmultiplikation und Translation[Bearbeiten]
Für ein affines Modell berechnet man den Bildvektor
durch eine Matrixmultiplikation
und anschließender Translation über
. Mit dem obigen Beispielvektor ergibt sich:
![{\displaystyle A\cdot x={\begin{pmatrix}15\\22\end{pmatrix}}\qquad A\cdot x+b={\begin{pmatrix}30\\20\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/202bb65d8c4e7a3fbcb19b92828b3f37f7165a91)
Definition der affinen Abbildung[Bearbeiten]
Mit
definiert man die affine Abbildung wie folgt:
![{\displaystyle {\begin{array}{rrcl}f:&\mathbb {R} ^{n}&\rightarrow &\mathbb {R} ^{m}\\&x&\mapsto &f\left(x\right)=A\cdot x+b\end{array}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c33d5ec566be48446d65d6ecacd955d45a677add)
Darstellende Matrix und Translationsvektor gesucht[Bearbeiten]
Die darstellende Matrix
und Translationsvektor
sind gesucht und werden durch z.B. numerisch berechnet.
Transformation affines Problem in lineares[Bearbeiten]
Die affine Abbildung
bildet mit
nach
ab.
gegeben, dann transformiert man die affine Abbildung in eine lineare Funktion mit einer Matrix
. Diese lineare Abbildung hat dann folgende Gestalt.
![{\displaystyle f^{\ast }(x)=A^{\ast }\cdot x^{\ast }\in \mathbb {R} ^{m},}](https://wikimedia.org/api/rest_v1/media/math/render/svg/8fb746ab567d50f33e7fd7a42868b9273cf1da98)
mit
und
Erweiterte Matrix - erweiterter Vektor[Bearbeiten]
Mit den oben gegebenen Matrizen
und dem Vektor
erhält man die erweiterte Matrix
und den erweiterten Vektor
wie folgt:
![{\displaystyle A^{\ast }={\begin{pmatrix}1&3&5&5\\2&4&6&8\\\end{pmatrix}},\quad x^{\ast }={\begin{pmatrix}4\\2\\1\\1\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/47b442fce70c4aa63e41f577c010dffbaa397e6d)
Beispieldaten für das lineares Funktional[Bearbeiten]
Als konkretes Beispiel eines Datenpunktes für ein mehrdimensionales lineares Modell wählt man z.B. für
,
. Damit wäre der Datenpunkt
![{\displaystyle (x,y)=(x_{1},x_{2},x_{3},x_{4},y_{1},y_{2})\in \mathbb {R} ^{5}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/3a6833a4236523cfd6b535df4206403298970a16)
Dabei bezeichnet
einen Punkt im dreidimensionalen Raum und
z.B. Temperatur
und die Luftfeuchtigkeit
als Messungen an dem Ort
.
Komponentenfunktionen[Bearbeiten]
Durch die Transformation von affinen Abbildungen in lineare Abbildung betrachtet man nun Komponentenfunktionen von linearen Abbildung der Form
, wobei
eine
ist.
Matrix und Abbildung[Bearbeiten]
Über die Matrix
sei
für den Spaltenvektor
wie
folgt definiert:
![{\displaystyle A={\begin{pmatrix}a_{1,1}&a_{1,2}&a_{1,3}\\a_{2,1}&a_{2,2}&a_{2,3}\\\end{pmatrix}}={\begin{pmatrix}a_{1}\\a_{2}\\\end{pmatrix}},\quad x={\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/b7aa0077cf0cf11ced5f2bd2ccdae7ddfebe3d28)
Matrixmultiplikation und Skalarprodukt[Bearbeiten]
Die Komponentenfunktionen einer Matrixmultiplikation sind Skalarprodukte.
![{\displaystyle f_{A}(x):=A\cdot x={\begin{pmatrix}a_{1,1}\cdot x_{1}+a_{1,2}\cdot x_{2}+a_{1,3}\cdot x_{3}\\a_{2,1}\cdot x_{1}+a_{2,2}\cdot x_{2}+a_{2,3}\cdot x_{3}\end{pmatrix}}={\begin{pmatrix}\langle a_{1},x\rangle \\\langle a_{2},x\rangle \\\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/65367a8981d8435b0062765e3911a72149c4b957)
Beispiel für Komponentenfunktion[Bearbeiten]
Für folgenden Matrix
![{\displaystyle A={\begin{pmatrix}1&3&5\\2&4&6\\\end{pmatrix}},\quad x={\begin{pmatrix}x_{1}\\x_{2}\\x_{3}\\\end{pmatrix}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/226e29c1c526644bc446b3914d086f8171d33282)
ergeben sich daher die folgenden Komponentenfunktionen:
![{\displaystyle {\begin{array}{rcl}f_{a_{1}}(x)&=&\langle a_{1},x\rangle =1\cdot x_{1}+3\cdot x_{2}+5\cdot x_{3}\\f_{a_{2}}(x)&=&\langle a_{2},x\rangle =2\cdot x_{1}+3\cdot x_{2}+6\cdot x_{3}\\\end{array}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/f6fb4ebff79631775befbc3a05981da1723a9420)
Regression - Funktion gesucht[Bearbeiten]
Bei der Regression betrachtet man eine Fehlerfunktion und dabei vertauscht man die Rolle von Argumenten einer Funktion und statischen Variableninhalten, denn in funktionalen Betrachtung von
ist
bekannt und das Argument
die unabhängige Variable, mit der
berechnet wird. Bei der linearen Regression sind Ein-Ausgabepaare
bekannt und man sucht die Matrix
, die die Datenpunkte möglichst gut approximiert.
Der Fehlervektor gibt komponentenweise an, ob der von
berechnete Vektor im Vergleich zu dem Datenvektor
zu klein (
) oder zu groß ist (
).
Der Fehlervektor erhält man nun über:
![{\displaystyle {\begin{array}{rcl}f_{A}(x)-y&=&f_{A}(4,2,1)-{\begin{pmatrix}31\\19\end{pmatrix}}\\&=&{\begin{pmatrix}30\\20\end{pmatrix}}-{\begin{pmatrix}31\\19\end{pmatrix}}={\begin{pmatrix}-1\\1\end{pmatrix}}\\\end{array}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/65e9c5893d6dbefaf77bd0e0bd0042ede0f07a9a)
Erläuterung - Fehlervektor[Bearbeiten]
Der Fehlervektor
gibt in dem obigen Beispiel mit der Matrix
an, dass bei Eingabe von
der berechnete Vektor
in der Wert ersten Komponent um 1 zu klein im Vergleich zum Messwert
ist und in der zweiten Komponente der berechnete Wert
1 Einheit oberhalb des Messwertes
liegt.
Quadratische Fehler für Datenpunkte[Bearbeiten]
Der quadratische Fehler
ergibt aus dem Quadrat der euklidischen Länge (Norm) des Fehlervektors
mit
![{\displaystyle \|f_{A}(x)-y\|^{2}=\left\|{\begin{pmatrix}-1\\1\end{pmatrix}}\right\|^{2}=(-1)^{2}+1^{2}=2}](https://wikimedia.org/api/rest_v1/media/math/render/svg/c64aee0ca225ab3c14474ac192997fa66dcf92e3)
Dabei ist die euklidische Norm für einen Vektor
wie folgt definiert:
![{\displaystyle \|v\|:=\left\|{\begin{pmatrix}v_{1}\\\vdots \\v_{m}\end{pmatrix}}\right\|={\sqrt {\sum _{k=0}^{m}v_{k}^{2}}}}](https://wikimedia.org/api/rest_v1/media/math/render/svg/bc581f909888cc96c2323a271775579ae83a7746)
Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.
Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Kurs:Maschinelles Lernen' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.