Coordinate Networks jsou typem neuronových sítí, které se neučí mapovat vstupy na výstupy v klasickém smyslu (např. klasifikace), ale slouží jako spojitá reprezentace objektu. Namísto ukládání obrázku jako pole pixelů se obraz uloží jako funkce $f(x, y) = \text{barva}$.
Tento přístup umožňuje reprezentovat signály (obraz, zvuk, 3D tvary) s teoreticky nekonečným rozlišením, omezeným pouze kapacitou sítě.
V tradičních reprezentacích jsou data diskrétní:
V Coordinate Network je vstupem sítě souřadnice (např. v prostoru nebo čase) a výstupem je hodnota signálu v tomto bodě:
Pravděpodobně nejznámější aplikace coordinate networks. NeRF umožňuje vytvořit fotorealistickou 3D scénu z několika 2D fotografií. Síť se naučí funkci, která pro každý bod v prostoru a každý směr pohledu vrátí barvu a průhlednost.
Běžné aktivační funkce (jako ReLU) nejsou vhodné pro modelování detailů (hran, textur). SIREN používá jako aktivační funkci sinus, což umožňuje síti přesně reprezentovat i derivace signálu (důležité pro řešení fyzikálních rovnic nebo jemné detaily povrchů).
| Vlastnost | Výhoda | Nevýhoda |
|---|---|---|
| Rozlišení | Spojité, lze vzorkovat v libovolném detailu. | Výpočetně náročné na vykreslení (nutno dotazovat síť pro každý bod). |
| Paměť | Velmi kompaktní (miliardy pixelů nahradí pár MB parametrů). | Trénování pro každý nový objekt/scénu trvá dlouho. |
| Flexibilita | Snadná manipulace s tvary pomocí matematických operací. | Obtížná editace konkrétních částí (změna jednoho parametru může ovlivnit celý objekt). |
— Související pojmy: Hluboké učení, Neural ODEs, Hypernetworks, TSMC (hardwarová akcelerace pro NeRF)