Neural ODEs (Neural Ordinary Differential Equations)

Neural ODEs představují revoluční přístup k architektuře neuronových sítí, kde namísto specifikování posloupnosti diskrétních skrytých vrstev definujeme spojitý vývoj stavu sítě pomocí obyčejných diferenciálních rovnic (ODE).

Tento koncept byl představen v roce 2018 (Chen et al.) a získal ocenění za nejlepší příspěvek na prestižní konferenci NeurIPS.

V běžných reziduálních sítích se stav mění v diskrétních krocích: $h_{t+1} = h_t + f(h_t, \theta_t)$ Kde $h_t$ je stav v dané vrstvě a $f$ je funkce (vrstva) s parametry $\theta$.

V Neural ODEs tento vztah zobecňujeme do spojitého času. Změnu stavu popisujeme derivací: $$\frac{dh(t)}{dt} = f(h(t), t, \theta)$$ Pro získání výstupu v čase $T$ pak síť „řeší“ tento systém od počátečního stavu $h(0)$ pomocí numerického řešiče (ODE Solver).

• Paměťová efektivita: Při trénování není nutné ukládat mezivýsledky všech vrstev pro zpětnou propagaci (backpropagation). Neural ODEs mohou počítat gradienty pomocí metody „adjoint sensitivity“, což vyžaduje konstantní paměť bez ohledu na hloubku „sítě“.
• Spojitá data a časové řady: Ideální pro modelování dat, která přicházejí v nepravidelných časových intervalech (např. lékařské záznamy nebo finanční trhy), protože model může počítat stav v libovolném čase $t$.
• Adaptivní přesnost: Během testování (inference) lze měnit přesnost řešiče. Pro rychlý odhad zvolíme nižší přesnost, pro kritické aplikace vysokou přesnost, aniž by bylo nutné síť přetrénovat.

• Výpočetní náročnost: Numerické řešení diferenciálních rovnic může být pomalejší než dopředný průchod klasickou sítí, zejména pokud je dynamika systému komplexní.
• Stabilita řešiče: Výběr správného řešiče (např. Eulerova metoda vs. Runge-Kutta) je kritický pro přesnost a rychlost modelu.

— Související pojmy: Hluboké učení, Vertex AI, Architektury CPU (vliv na efektivitu výpočtů)