Skip to content
Poznámky

Metoda nejmenších čtverců

Charakteristika úlohy. Nahrazení množiny bodů lineární funkcí a obecným polynomem.

  • Jak funguje metoda nejmenších čtverců?
  • Demonstrujte použití metody při nahrazení m bodů polynomem stupně 2.

Princip metody

Metoda nejmenších čtverců se používá k nalezení křivky, která aproximuje průběh danými body. Snažíme se minimalizovat vertikální vzdálenost těchto bodů od hledané křivky (a protože nechceme počítat s odmocninami, používáme druhé mocniny (tzv. čtverce) -> nejmenší čtverce). Vzdálenost získáme odečtením funkční hodnoty v bodě (u lineárních funkcí polynom prvního stupně axi+bax_i+b, u kvadratických funkcí polynom druhého stupně axi2+bxi+cax_i^2+bx_i+c a podobně, čím větší stupeň, tím přesnější aproximace) od zadaného bodu yiy_i. U prvního stupně bude tedy vzdálenost yi−(axi+b)=yi−axi−by_i-(ax_i+b)=y_i-ax_i-b a čtverec (yi−axi−b)2=(axi+b−yi)2(y_i-ax_i-b)^2=(ax_i+b-y_i)^2 (použijeme vlastnosti druhých mocnin x2=(−x)2x^2=(-x)^2). Pokud tedy máme nějaké body [xi;yi][x_i;y_i], hledáme ∑i=1n(axi+b−yi)2\sum_{i=1}^{n}(ax_i+b-y_i)^2 tak, aby byl součet co nejmenší. Na nalezení bodu podezřelého z extrému použijeme 1. derivaci funkce. A protože těch proměnných máme víc, musíme parciálně derivovat (derivujeme n-krát podle počtu proměnných a všechny ostatní bereme jako konstanty) a položit obě derivace nule.

(1)∑i=1n2⋅(axi+b−yi)⋅xi=0(2)∑i=1n2⋅(axi+b−yi)⋅1=0\begin{gathered}(1)&\sum_{i=1}^n2\cdot(ax_i+b-y_i)\cdot x_i=0\\(2)&\sum_{i=1}^n2\cdot(ax_i+b-y_i)\cdot{1}=0\end{gathered}

Konstantu (2) můžeme se součtu vytknout a poté z obou rovnic vyškrtnout. A protože suma součtu je součet sum, můžeme soustavu rozepsat takto:

(1)a⋅∑xi2+b⋅∑xi=∑xiyi(2)a⋅∑xi+b⋅n=∑yi\begin{gathered}(1)&\boxed{a}\cdot\sum{x_i^2}&+&\boxed{b}\cdot\sum{x_i}&=&\sum{x_iy_i}\\(2)&\boxed{a}\cdot\sum{x_i}&+&\boxed{b}\cdot{n}&=&\sum{y_i}\end{gathered}

Nyní máme soustavu dvou rovnic o dvou neznámých a,b a můžeme řešit jakýmkoliv způsobem po dopočítání sum z výchozích dat pomocí Řešení soustavy rovnic

Příklad na polynomu stupně 2

Suma čtverců

∑(axi2+bxi+c−yi)2\sum(ax_i^2+bx_i+c-y_i)^2

Parciální derivace

(1)∑2⋅(axi2+bxi+c−yi)⋅xi2=0(2)∑2⋅(axi2+bxi+c−yi)⋅xi=0(3)∑2⋅(axi2+bxi+c−yi)⋅1=0\begin{gathered}(1)&\sum2\cdot(ax_i^2+bx_i+c-y_i)\cdot{x_i^2}=0\\(2)&\sum2\cdot(ax_i^2+bx_i+c-y_i)\cdot{x_i}=0\\(3)&\sum2\cdot(ax_i^2+bx_i+c-y_i)\cdot1=0\end{gathered}

Rovnice

(1)a⋅∑xi4+b⋅∑xi3+c⋅∑xi2=∑xi2yi(2)a⋅∑xi3+b⋅∑xi2+c⋅∑xi=∑xiyi(3)a⋅∑xi2+b⋅∑xi+c⋅n=∑yi\begin{gathered}(1)&\boxed{a}\cdot\sum{x_i^4}&+&\boxed{b}\cdot\sum{x_i^3}&+&\boxed{c}\cdot\sum{x_i^2}&=&\sum{x_i^2y_i}\\(2)&\boxed{a}\cdot\sum{x_i^3}&+&\boxed{b}\cdot\sum{x_i^2}&+&\boxed{c}\cdot\sum{x_i}&=&\sum{x_iy_i}\\(3)&\boxed{a}\cdot\sum{x_i^2}&+&\boxed{b}\cdot\sum{x_i}&+&\boxed{c}\cdot{n}&=&\sum{y_i}\\\end{gathered}

Matice a dopočítání jako by se stalo…