Odvod

Odvod funkcije ene spremenljivke

Diferenčni kvocient:

$$dk=\frac{f(x_0+h)-f(x_0)}{h}$$

Odvod funkcije $f$ v $x_0$: $f^{\prime }(x_0)={\lim }_{h\to \infty }dk$
N-ti odvod funkcije $f$: $f^{(N)})(x_0)=(f^{(n-1)}{)}^{\prime }(x_0)$
Če je $f$ odvedljiva, je tudi zvezna.

Osnovni odvodi in pravila odvajanja

$$\begin{array}{rl}(a{)}^{\prime }& =0\\ (x^n{)}^{\prime }& =n\ast x^{n-1}\\ (a^x{)}^{\prime }& =a^x\ast lna\\ (sinx{)}^{\prime }& =cosx\\ (cosx{)}^{\prime }& =-sinx\\ (lo{g}_{a}x{)}^{\prime }& =\frac{1}{x\ast lna}\end{array}$$ $$\begin{array}{rl}(\alpha \ast f+g{)}^{\prime }& =\alpha \ast f^{\prime }+g^{\prime }\\ (f\ast g{)}^{\prime }& =f^{\prime }\ast g+f\ast g^{\prime }\\ (f(g(x)){)}^{\prime }& =f^{\prime }(g(x))\ast g^{\prime }(x)\\ (\frac{f}{g}{)}^{\prime }& =\frac{f^{\prime }\ast g+f\ast g^{\prime }}{g^2}\end{array}$$

L’Hospitalovo pravilo

$$\underset{x\to c}{\lim }f(x)=\underset{x\to c}{\lim }g(x)=0ali\pm \infty ⟹\underset{x\to c}{\lim }\frac{f(x)}{g(x)}=\underset{x\to c}{\lim }\frac{f^{\prime }(x)}{g^{\prime }(x)}$$

Taylorjev polinom

Aproksimacija ($n+1$-krat odvedljivih) funkcij s Taylorjevim polinomom stopje $n$

$$T_n(x)=f(x_0)+f^{\prime }(x_0)(x-x_0)+\frac{f^{\prime \prime }(x_0)}{2}(x-x_0{)}^2+...+\frac{f^{(n)}(x_0)}{n!}$$

$T_n(x)$ je dobra aproksimacija, z največjo možno napako:

$$R_n(x)=\frac{f^{(n+1)}(c)}{(x+1)!}(x-x_0{)}^{n+1}$$

Taylorjeva vrsta: stopnjo aproksimacije $n$ pošljemo “v neskončnost”:

$$T(x)=\sum _{n=0}^{\infty }\frac{f^{(n)}(x_0)}{n!}(x-x_0{)}^n$$

Taylorjeve vrste

$$\begin{array}{rl}{e}^x& =\sum _{n=0}^{\infty }\frac{x^n}{n!}\\ cosx& =\sum _{n=0}^{\infty }(-1{)}^n\frac{x^{2n}}{(2n)!}\\ sinx& =\sum _{n=0}^{\infty }(-1{)}^n\frac{x^{2n+1}}{(2n+1)!}\end{array}$$ $$e^{ix}=\sum _{n=0}^{\infty }\frac{(ix{)}^n}{n!}=...=cosx+i\ast sinx$$

Geometrijski pomen

1. Geometrijski pomen prvega odvoda:
   • $f^{\prime }(x)>0$ $\to$ $f$ je v $x$ naraščajoča
   • $f^{\prime }(x)<0$ $\to$ $f$ je v $x$ padajoča
   • $f^{\prime }(x)=0$ $\to$ $x$ je stacionarna točka:
     • $f^{\prime \prime }(x)>0$ $\to$ lokalni minimum
     • $f^{\prime \prime }(x)<0$ $\to$ lokalni maksimum
     • $f^{\prime \prime }(x)=0$ $\to$ lokalni minimum / lokalni maksimum / sedlo
2. Geometrijski pomen drugega odvoda:
   • $f^{\prime \prime }(x)>0$ $\to$ $f$ je v $x$ konkavna
   • $f^{\prime \prime }(x)<0$ $\to$ $f$ je v $x$ konveksna
   • $f^{\prime \prime }(x)=0$ in se predznak $f^{\prime \prime }$ v $x$ spremeni $\to$ $x$ je prevoj

Odvod funkcij več spremenljivk

Parcialni in smerni odvod

Parcialni odvod $f$ po $x$:

• naklonski koeficient (naklon) prereza grafa $f$ v smeri $x$ osi
• naklon najboljše linearne aproksimacije v smeri $x$
  

$$\begin{array}{rl}{f}_x(a,b)& =\frac{\partial f}{\partial x}(a,b)=li{m}_{h\to 0}\frac{f(a+h,b)-f(a,b)}{h}\\ f_y(a,b)& =\frac{\partial f}{\partial y}(a,b)=li{m}_{h\to 0}\frac{f(a,b+h)-f(a,b)}{h}\end{array}$$

Smerni odvod je relativna sprememba funkcijske vrednosti $f(x_0,y_0)$ ob majhnem premiku iz točke v smeri vektorja $\vec{e}$, npr. $f_x=f_{(1,0)}$, $f_y=f_{(0,1)}$

$$f_{\vec{e}}(a,b)=f_x(a,b)e_1+f_y(a,b)e_2$$

Diferenciabilnost

Funkcija $f$ je diferenciabilna v $(a,b)\in D$, če:

$$f(a+h_1,b+h_2)=f(a,b)+f_x(a,b)\ast h_1+f_y(a,b)\ast h_2+o(h_1,h_2)$$

Diferenciabilnost določi (obstoj):

• tangentne ravnine na graf v točki $(a,b)$
• linearne aproksimacije

Gradient

Gradient je vektor (smer in velikost=naklon) največje rasti funkcije $f$:

$$\nabla f=gradf=(f_x,f_y)$$

Gradient je v vseh točkah pravokoten na nivojnice: $\nabla f\cdot (x^{\prime },y^{\prime })=0$

Gradientni spust

Iščemo globalni minimum funkcije, z začetnim približkom $x_1$

$$x_{k+1}=x_k-\gamma \ast \nabla f(x_k)$$

$\gamma$ … hitrost učenja (learning rate)
Uporaba pri učenju nevronskih mrež: YT - 3Blue1Brown

Stacionarne točke

Ekvivalentni pogoji, da je $A$ stacionarna točka: $f_x(A)=f_y(A)=0⟺f_v(A)=0⟺\nabla f(A)=0$
Vsak lokalni ekstrem je stacionarna točka (če ni na robu $D_f$)
Hassova matrika: uporabimo druge parcialne odvode (npr. $f_{xy}$ … $f_x$ odvajamo po $y$):

$$Hs=\left[\begin{array}{cc}{f}_{xx}& f_{xy}\\ f_{yx}& f_{yy}\end{array}\right]$$

Izračunamo determinanto: $D(x_0,y_0)=f_{xx}\ast f_{xy}-f_{xy}\ast f_{yx}$

• $D(x_0,y_0)>0$ $\to$ $(x_0,y_0)$ je lokalni ekstrem:
  • $f_{xx}(x_0,y_0)>0$ $\to$ lokalni minimum
  • $f_{xx}(x_0,y_0)<0$ $\to$ lokalni maksimum
• $D(x_0,y_0)<0$ $\to$ $(x_0,y_0)$ je sedlo

Vezani ektremi

Vezani ekstrem $f$ pri pogoju $g=0$ je ekstrem funkcije $f|g=0$ - ekstrem preseka funkcij

Potreben pogoj za lokalni ekstrem: $\nabla f\ast (\text{tang na}g=0)=0⟺\nabla f||\nabla g$
Standardna formulacija: Lagrangeva funkcija:

$$L(x,y,\lambda )=f(x,y)-\lambda \ast g(x,y)$$

Stacionarne točke $L$ so kandidati za vezane ekstreme:

• $L_x=f_x-\lambda g_x=0$
• $L_y=f_y-\lambda g_y=0$
• $L_{\lambda }=g=0$ (predpostavljen pogoj)

Lagrange

Več na to temo: YT - Khan Academy