Mehrdimensionale lineare Regression/Schätzfunktion - eindimensional

Einleitung

Diese Lerneinheit behandelt mit dem Thema zur eindimensionalen Schätzfunktion die Parameterschätzung für die Steigung und das y-Achsenabschnitt der Regressionsgerade im $\mathbb {R} ^{2}$ im Kontext der linearen Regression. Die Lernresource kann als Wiki2Reveal Folien angezeigt werden. Einzelne Abschnitte werden als Folien betrachtet und Änderungen an den Folien wirken sich sofort auf den Inhalt der Folien aus. Dabei werden die folgenden Teilaspekte im Detail behandelt:

• (1) Wie kann man die Steigung aus den Datenpunkten $(x_{i},y_{i})\in \mathbb {R} ^{2}$ schätzen?
• (2) Wie kann man mit berechneter Steigung den y-Achsenabschnitt der Regressiongerade bestimmen?

Zielsetzung

Diese Lernressource zu eindimensionalen Schätzfunktion für Steigung und y-Achsenabschniit für $f(x)=m\cdot x+b$ hat das Ziel, den mehrdimensionale Fall einer affinen Abbildung $f(x)=A\cdot x+b$ mit $x\in \mathbb {R} ^{n}$, $b\in \mathbb {R} ^{m}$ und $A\in Mat(m\times n,\mathbb {R} )$ vorzubereiten.

Lernvoraussetzungen

Die Lernressource zum Thema eindimensionalen Schätzfunktion bei der linearen Regression hat die folgenden Lernvoraussetzungen, die zum Verständnis der nachfolgenden Ausführungen hilfreich bzw. notwendig sind.

• (Schätzfunktion) Was ist ein Schätzfunktion und was ist eine erwartungstreue Schätzfunktion?
• (Regression) Was ist das grundlegende Prinzip einer Regressionsanalyse?

Daten der linearen Regression

Gegeben Sie $d\in \mathbb {N}$ Datenpaare der Form $(x_{i},y_{i})\in \mathbb {R} ^{2}$ mit:

$\mathbb {D} :=\left\{(x_{i},y_{i})\in \mathbb {R} ^{2}\ \colon \ i\in \{1,\ldots ,d\}\right\}$

Funktionsparameter - Steigung und y-Achsenabschnitt

Gesucht sind bei einer linearen Regression die Steigung $a\in \mathbb {R}$ und der y-Achsenabschnitt $b\in \mathbb {R}$ für eine Funktion $f:\mathbb {R} \to \mathbb {R}$ mit $f(x)=a\cdot x+b$.

Ideale Fall der Regression - Interpolation

Betrachtet man eine ideale Approximation der Daten $\mathbb {D} :=\left\{(x_{i},y_{i})\in \mathbb {R} ^{2}\ \colon \ i\in \{1,\ldots ,d\}\right\}$, dann interpoliert die Funktion $f$ alle Daten aus $\mathbb {D}$ und es gilt $f(x_{i})=y_{i}$ für alle $i\in \{1,\ldots ,d\}$.

Fehler in der Approximation der Daten

Die folgenden Abbildung zeigt Datenpunkte in rot und eine blaue Regressionsgerade, die die Datenpunkte nicht interpoliert. Die Approximation der Daten mit einer Funktion $f$ zeigt für die einzelnen Datenpunkte Fehler.

Residuum als Abweichung von einem Sollwert

Ein Residuum bezeichnet dabei die Differenz $r_{i}:=y_{i}-f(x_{i})$ zwischen der empirischen Beobachtung $y_{i}$ an der Stelle $x_{i}$ und der geschätzten Funktionswert der Regressionsfunktion $f$ an der Stelle $f(x_{i})$.

Beispiel - Abweichung von einem Sollwert

Ist $a=3,\ b=2$ und der Datenpunkt $(x_{1},y_{1})=(-1,1)\in \mathbb {R} ^{2}$ gegeben, dann wird das Residuum $(x_{1},y_{1})$ für $f$ wie folgt berechnet:

${\begin{array}{rcl}r_{1}&=&y_{1}-f(x_{1})=1-f(-1)\\&=&1-(a\cdot (-1)+b)\\&=&1-(3\cdot (-1)+2)=2\\\end{array}}$

Das Residuum $r_{i}=2$ besagt nun, dass der beobachtet Wert $y_{i}=1$ um 2 Einheiten über dem geschätzte Funktionswert $f(-1)=-1$ liegt.

Fehlerminimierung für die Methode der Kleinsten-Quadrate

Für die gegeben $d\in \mathbb {N}$ Datenpaare der Form $(x_{i},y_{i})\in \mathbb {R} ^{2}$ betrachtet man die quadratischen Einzelfehler der Form

${r_{i}}^{2}=(y_{i}-f(x_{i}))^{2}.$

Diese Einfehler aggregiert man nun über alles Datenpaare aus $\mathbb {D} :=\left\{(x_{i},y_{i})\in \mathbb {R} ^{2}\ \colon \ i\in \{1,\ldots ,d\}\right\}$ und erhält als quadratischen Gesamtfehler:

$E_{LR}(f,\mathbb {D} ):=\sum _{i=1}^{d}{r_{i}}^{2}=\sum _{i=1}^{d}(y_{i}-f(x_{i}))^{2}$.

Dieser quadratische Fehler der lineare Regression soll nun minimiert werden.

Schätzfunktionen der Kleinste-Quadrate-Schätzer

Aus der Regressionsgleichung $y_{i}=f(x_{i})+r_{i}=\underbrace {a\cdot x_{i}+b} _{=f(x_{i})}+r_{i}$ lassen sich die Schätzfunktionen ${\hat {a}}$ für $a\in \mathbb {R}$ und ${\hat {b}}$ für $b\in \mathbb {R}$ ableiten.

Arithmetisches Mittel der Rohdaten

Mit den Rohdaten $\mathbb {D}$ kann man das arithmetische Mittel der $x$-Werte und $y$-Werte bilden:

${\overline {x}}:={\frac {1}{n}}\cdot \sum _{i=1}^{n}x_{i}\,{\mbox{ und }}\,{\overline {y}}:={\frac {1}{n}}\cdot \sum _{i=1}^{n}y_{i}$

Schätzer für die Steigung der Regressiongerade

Betrachtet man die Vektoren $x_{_{\mathbb {D} }}=(x_{1},\ldots ,x_{n})\in \mathbb {R} ^{n}$ und $y_{_{\mathbb {D} }}=(y_{1},\ldots ,y_{n})\in \mathbb {R} ^{n}$ aus den Rohdaten $\mathbb {D}$, so wird die Schätzfunktion für die Steigung $a$ von $f:\mathbb {R} \to \mathbb {R}$ wie folgt definiert:

${\widehat {a}}(x_{_{\mathbb {D} }},y_{_{\mathbb {D} }})={\frac {\displaystyle \sum _{i=1}^{n}(x_{i}-{\overline {x}})\cdot (y_{i}-{\overline {y}})}{\displaystyle \sum _{i=1}^{n}(x_{i}-{\overline {x}})^{2}}}\in \mathbb {R}$

Schätzer für y-Achsenabschnitt der Regressiongerade

Die Regressionsgerade läuft durch den $({\overline {x}},{\overline {y}})\in \mathbb {R} ^{2}$, dessen Komponenten über das arithmetische Mittel der $x$-Werte ${\overline {x}}$ arithmetische Mittel der $y$-Werte ${\overline {y}}$ gebildet wird. Die Funktionsgleichung $f({\overline {x}})={\widehat {a}}(x_{\mathbb {D} },y_{\mathbb {D} })\cdot {\overline {x}}+{\widehat {b}}(x_{\mathbb {D} },y_{\mathbb {D} })={\overline {y}}$ liefert dann ${\widehat {b}}(x_{\mathbb {D} },y_{\mathbb {D} })$ über

${\widehat {b}}(x_{\mathbb {D} },y_{\mathbb {D} })={\overline {y}}-{\widehat {a}}(x_{\mathbb {D} },y_{\mathbb {D} })\cdot {\overline {x}}.$

Linearität

Die Formeln zeigen auch, dass die Schätzfunktionen ${\widehat {a}}$ und ${\widehat {b}}$ der Regressionsparameter $a$ und $b$ linear von $y_{_{\mathbb {D} }}=(y_{1},\ldots ,y_{n})\in \mathbb {R} ^{n}$ abhängen.

Normalverteilung der Residuuen

Unter der Annahme der Normalverteilung der Residuen $r_{i}\sim {\mathcal {N}}(0,\sigma ^{2})$ oder wenn die Beobachtungsdaten $y_{i}$ den zentralen Grenzwertsatz erfüllen, folgt, dass auch die Schätzfunktionen der Regressionsparameter ${\widehat {a}}(\mathbb {D} )$ und ${\widehat {b\,}}(\mathbb {D} )$ für die Daten $\mathbb {D}$ zumindest approximativ normalverteilt sind:

${\widehat {a}}(\mathbb {D} )\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(\beta _{1},\sigma _{\hat {a}}^{2})$ und ${\widehat {b\,}}(\mathbb {D} )\;{\stackrel {a}{\sim }}\;{\mathcal {N}}(\beta _{0},\sigma _{\widehat {b\,}}^{2})$.

Aufgaben für Lernende / Studierende

• Berechnen Sie für die obigen 4 Datenpunkte in der Abbildung die Steigung und den y-Achsenabschnitt der Regressionsgerade!
• Berechnen Sie die Regressionsgerade mit Datenpunkten Ihrer Wahl mit GNU R!
• Zeigen Sie die Linearität der Schätzfunktionen ${\widehat {a}}$ und ${\widehat {b\,}}$ in der zweiten Komponenten $y_{_{\mathbb {D} }}$!

Siehe auch

• Schätzfunktion
• erwartungstreue Schätzfunktion
• GNU R: Regression
• zentrale Grenzwertsatz
• Wiki2Reveal
• Lineare Regression - Wikipedia
• Open Educational Resources

Seiteninformation

Diese Lernresource können Sie als Wiki2Reveal-Foliensatz darstellen.

Wiki2Reveal

Dieser Wiki2Reveal Foliensatz wurde für den Lerneinheit Mehrdimensionale lineare Regression' erstellt der Link für die Wiki2Reveal-Folien wurde mit dem Wiki2Reveal-Linkgenerator erstellt.

• Die Seite wurde als Dokumententyp PanDocElectron-SLIDE erstellt.
• Link zur Quelle in Wikiversity: https://de.wikiversity.org/wiki/Mehrdimensionale%20lineare%20Regression/Sch%C3%A4tzfunktion%20-%20eindimensional
• siehe auch weitere Informationen zu Wiki2Reveal und unter Wiki2Reveal-Linkgenerator.