2016. március 14., hétfő

feltámad a neurális hálózat

Újra reneszánszát éli a neurális hálózat mint a mintatanulás, a mély gépi tanulás (Deep Learning) hatékony eszköze.

A neurális hálózat az idegrendszer működését utánozza, elemi egységei a mesterséges neuronok (amelyek egyszerű számításokat végeznek), az összeköttetések (ezek változtatható értékű súlytényezők, faktorok, amelyek változási képessége a neuroplaszticitásnek felel meg), a struktúra (mely neuronok mely más neuronokkal állnak kapcsolatban, hogyan szerveződnek - pl. rétegekbe - az egyes neuroncsoportok), illetve a tanulási algoritmus (amely a súlytényezők változásának algoritmusa).

Amikor két évtizede a Neocognitronnal vacakoltunk, eredményeink nem voltak látványosak, egyes minták megtanulása után más, korábban tanult minták elfelejtődtek. A rendszerünk kicsi volt és csapongott ide-oda, gyakorlatilag nem produkált használható eredményt.

A struktúra és a neurális számítási elv önmagában kevés, nagyon sok múlik a tanulás mikéntjén.
Fontos szempont a konvergencia, vagyis az a kérdés, hogy egyre pontosabbá válik-e a mintafelismerés a tanítás során, illetve ez milyen gyorsan következik be.
A Neocognitronnál híján voltunk az elméleti apparátusnak, és megérzésre, hiányos dokumentációra és próbálgatásra támaszkodtunk - kevés sikerrel.


... AlphaGo, Demis Hassabis, Yann LeCun... visszatér ez a szép irányzat, de a MI létrehozásának ez az irány nem elégséges alapja.


Emellett több érv is szól.

Egyrészt, bár a feature engineeringbe vetett bizalom elpárologni látszik, mégsem mondhatunk le azon eredmények beépítéséről, amelyeket valami elmélet (például a kognitív nyelvészet, ha már a nyelvfeldolgozással is foglalkozom) megalapoz.
Másrészt a csupasz, véletlenszerűen inicializált struktúra nem tartalmaz olyan, velünk született képességeket, mint az ösztönök, amelyek bizonyos mértékben felelnek azért, hogy olyan jól teljesítünk. Mi az ösztön? A neurális számítógépeknek erre jelenleg nincs válaszuk, pedig az ember rendelkezik veleszületett "adottsággal".
A neurális mélytanuló rendszereknél mindig van valami megfigyelhető cél. A felügyelt tanításnál az elvárt válasz, a jutalmazott (megerősítéses) tanulásnál a kifizetési célfüggvény; a felügyelet nélküli tanulásnál is bizonyosan fellelhető ilyen (például a gyorsabb mintafelismerés talán egyfajta jutalommal hozható kapcsolatba).

De más területeken nehéz elképzelni, hogy ilyen folyamatokra támaszkodunk. A nyelv elsajátítása vajon milyen szorosan kapcsolódik a neurális tanulási modellekhez? Bár az emberben is működik neurális hálózat, egyáltalán nem biztos, hogy csupán ez az egyetlen struktúra, valamint hogy ez a modell nem hanyagol el valami lényegeset.
Egyes helyzetekben meg tudjuk ragadni, ahogy a jutalom megerősíti a tanulási folyamatot (pl. az "anya" szó kimondása nevetést vált ki), de máskor ez nem ilyen magától értetődő. A halál vagy a szomorúság fogalmának és a megfelelő szavaknak a megtanulását nehezebb a jutalmazásos modellel értelmezni.



Szép a Goban elért eredmény, de aligha hihető, hogy a mélytanuló neurális hálózatok univerzális választ adnak az MI problematikájára. Azt hiszem, Watson stratégiája jobb: felhasználni mindent, amit a tudomány kidolgozott, és hagyni az egyes modelleket versengeni, az egész tetejére pedig ráültethető egy gépi tanulással folyamatosan újrahangolt mély konvolúciós neurális háló, amely a rugalmasságot biztosítja.


Megnyugtat, hogy még évtizedekig lesz kutatnivaló az MI-ben.




Nincsenek megjegyzések:

Megjegyzés küldése