Minimizacija (generalizirane) kvadratne funkcije (objasnjenje gradiva)

[kosani]

Upravo sam odgovarao na usmenom i trebao sam naći minimum [tex] \| Ax-b \| _{2} ^{2} [/tex] ali bez korištenja derivacija. Znači analogno nalaženju tjemena parabole za jednodimenzionalni slučaj gdje raspisom dobijemo [tex]a(x+ \frac{b}{2a})^2+ \frac{4ac-b^2}{4a} [/tex] gdje dobivamo da je tjeme u [tex] x_{0}=- \frac{b}{2a}[/tex] ali samo u višedimenzionalnom slučaju

Raspisivanjem dobijem izraz: [tex]...=x^{T} A^{T}Ax-2x^{T} A^{T}b+b^{T}b=x^{T} (A^{T}Ax-2A^{T}b)+b^{T}b [/tex] što je i bilo dobro. Nakon 5 minuta šutnje mi je profesor izveo do kraja sve u 15 sekundi i dolaskom doma to više ne znam izvest.

Profesor se koristio ovim: [tex]A^{T}A x_{0}= A^{T} b[/tex] da bi na kraju dokazao da je: [tex]x_{0}= (A^{T}A ) ^{-1} A^{T} b[/tex] uistinu točka minimuma. Kako?

[kosani]

Ipak sam uspio dobiti rješenje:

Koristeći: [tex] A^{T} b= A^{T} A x_{0} [/tex] iz izraza [tex]x^{T} A^{T}Ax-2x^{T} A^{T}b+b^{T}b[/tex] dobivamo [tex]x^{T} A^{T}Ax-2x^{T} A^{T} A x_{0}+b^{T}b[/tex]

dodajmo [tex]0=x_{0}^T A^T Ax_{0} + x_{0}^T A^T Ax_{0} - 2 x_{0}^T A^T Ax_{0}= x_{0}^T A^T Ax_{0} + x_{0}^T A^T Ax_{0} - 2 x_{0}^T A^T b [/tex]
pa dobijemo [tex]x^{T} A^{T}Ax-2x^{T} A^{T} A x_{0}+ x_{0}^T A^T Ax_{0}+ x_{0}^T A^T Ax_{0} - 2 x_{0}^T A^T b+b^{T}b [/tex]

prva tri izraza čine: [tex] \| A(x-x_{0})\|_2^2 [/tex], a druga tri [tex] \| Ax_{0}-b \|_2^2 [/tex]. To je minimalno samo kada je [tex]x=x_0[/tex] jer je drugi izraz konstantan.

[pedro]