Studium sítí typu LSTM a GRU na datech z přírodních věd
| školitel: | Martin Holeňa |
| e-mail: | zobrazit e-mail |
| typ práce: | |
| zaměření: | MI_MM, MI_AMSM, MINF, APIN |
| odkaz: | http://www.cs.cas.cz/~martin/ |
| popis: | Mezi moderními umělými neuronovými sítěmi (tzv. hlubokými), které přispěly k velkému rozvoji strojového učení v posledních 15 letech, patří k nejúspěšnějším sítě typu LSTM (long short-term memory). Nejčastěji se používají při zpracování jazyka, a to jak psaného textu, tak mluvené řeči. Jde o sítě rekurentní, zpracovávané signály se tedy do některých vrstev sítě s určitým zpožděním vrací. Velkým pokrokem LSTM sítí ve srovnání se staršími typy rekurentních síti je, že dokáží zabránit vymizení gradientu v důsldku rekurentního výpočtu. Aby toho bylo dosaženo, probíhají somatické operace v rekurentních vrstvách sítě nikoliv jako sekvence atomických operací, ale paralelně v různých částech strukturovaných buněk, které v těchto vrstvách nahrazují tradiční neurony umělých neuronových sítí. Tato architektura je parametrizována poměrně velkým počtem parametrů, takže k trénování LSTM sítí je zapotřebí značné množství dat. Ke zmírnění této nevýhody byly v roce 2014 navržena sítě typu GRU (gated recurrent unit). Jejich architektura byla inspirována architekturou LSTM sítí a jejich funkcionalita je velmi podobná, mají však méně parametrů. Podobně jako varianty LSTM sítí byly i různí varianty GRU sítí zkoumány a porovnávány především v kontextu úloh a dat ze zpracování jazyka. Navržená diplomová práce by se naproti tomu měla GRU sítěmi zabývat v kontextu úloh z přírodních věd. K tomu účelu by měly být důležité varianty LSTM a GRU sítí studovány a porovnávány mezi sebou i s LSTM sítěmi na reálných datech týkajících se růstu krystalů. |
| literatura: | viz https://www.cs.cas.cz/~martin/diplomka61.html |
| naposledy změněno: | 03.04.2024 20:44:32 |
za obsah této stránky zodpovídá:
Čestmír Burdík | naposledy změněno: 9.9.2021