. Martin Holeňa (externí spolupracovník)
Representation learning for structured data
školitel: |
Prof. Ing. RNDr. Martin Holeňa, CSc. |
e-mail: |
zobrazit e-mail
|
typ práce: |
dizertační práce
|
zaměření: |
MI_MM, MI_AMSM, MINF, APIN |
klíčová slova: |
structured data, neural networks, representation learning, explainability, generative networks |
odkaz: |
http://www2.cs.cas.cz/~martin/
|
popis: |
In the last decade, neural learners have become the most popular and most successful kinds of machine learning models, especially their deep variants. After their success in image and nature language processing data, deep learning has spread also to other kinds of data, including structured data, containing combinations of different data types (e.g., numerical and categorical) and/or explicitly indicating semantic relations between different attributes through hierarchies or more general graphs. Yet, learning on structured data still entails many research challenges. Typical supervised and unsupervised learning algorithms are not easily applicable as the structured data are not directly representable in Euclidean space. To this end, representation learning – a specific approach proposed for structured inputs – embeds the data into an Euclidean space, thus yielding a latent representation attempting to preserve the similarity among inputs. Different representations have been already proposed for hierarchical or graph data. However, many open questions in this field still need to be investigated. The topic of the proposed PhD thesis will cover new trends in representation learning on structured data Primarily, it will focus on the following two aspects:
1. Comprehensibility and explainability, which are crucial due to the fact that the black-box nature of typical neural learners hides the semantic content of structured inputs. Representation learning has in this respect a greater potential than traditional methods for the extraction of logical rules from trained neural networks as well as than neuro-symbolic learning, but research into this direction is only emerging.
2. Combing representation learning and generative networks, recently proposed as a means of generating new training and testing data, but not yet sufficiently elaborated for structured inputs.
An additional contribution of the thesis will consist in the elaboration of representation learning for the structured data encountered in network security. |
literatura: |
Literature to the topic is extensive, the supervisor will give advice what to read directly to the interested applicant, dependent on background and specific interests. |
poznámka: |
Co-supervisor: Lukáš Bajer, PhD (Cisco Cognitive Intelligence Research and Development) |
naposledy změněno: |
19.12.2019 10:08:24 |
Studium sítí typu LSTM a GRU na datech z přírodních věd
školitel: |
Martin Holeňa |
e-mail: |
zobrazit e-mail
|
typ práce: |
|
zaměření: |
MI_MM, MI_AMSM, MINF, APIN |
odkaz: |
http://www.cs.cas.cz/~martin/
|
popis: |
Mezi moderními umělými neuronovými sítěmi (tzv. hlubokými), které přispěly k velkému rozvoji strojového učení v posledních 15 letech, patří k nejúspěšnějším sítě typu LSTM (long short-term memory). Nejčastěji se používají při zpracování jazyka, a to jak psaného textu, tak mluvené řeči. Jde o sítě rekurentní, zpracovávané signály se tedy do některých vrstev sítě s určitým zpožděním vrací. Velkým pokrokem LSTM sítí ve srovnání se staršími typy rekurentních síti je, že dokáží zabránit vymizení gradientu v důsldku rekurentního výpočtu. Aby toho bylo dosaženo, probíhají somatické operace v rekurentních vrstvách sítě nikoliv jako sekvence atomických operací, ale paralelně v různých částech strukturovaných buněk, které v těchto vrstvách nahrazují tradiční neurony umělých neuronových sítí. Tato architektura je parametrizována poměrně velkým počtem parametrů, takže k trénování LSTM sítí je zapotřebí značné množství dat. Ke zmírnění této nevýhody byly v roce 2014 navržena sítě typu GRU (gated recurrent unit). Jejich architektura byla inspirována architekturou LSTM sítí a jejich funkcionalita je velmi podobná, mají však méně parametrů.
Podobně jako varianty LSTM sítí byly i různí varianty GRU sítí zkoumány a porovnávány především v kontextu úloh a dat ze zpracování jazyka. Navržená diplomová práce by se naproti tomu měla GRU sítěmi zabývat v kontextu úloh z přírodních věd. K tomu účelu by měly být důležité varianty LSTM a GRU sítí studovány a porovnávány mezi sebou i s LSTM sítěmi na reálných datech týkajících se růstu krystalů. |
literatura: |
viz https://www.cs.cas.cz/~martin/diplomka61.html |
naposledy změněno: |
13.01.2024 07:49:42 |
Urychlení evolučních algoritmů pomocí neuronových sítí
školitel: |
Martin Holeňa |
e-mail: |
zobrazit e-mail
|
typ práce: |
|
zaměření: |
MI_MM, MI_AMSM, MINF, APIN |
odkaz: |
http://www.cs.cas.cz/~martin/
|
popis: |
Evoluční algoritmy jsou v posledních desetiletích jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, hledání nejvhodnějších materiálů s požadovanými vlastnostmi či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá někdy značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model, označovaný jako její náhradní model.
K nejstarším druhům náhradních modelů, které se začaly používat už před 20 i více lety, patřily i tradiční typy umělých neuronových sítí – vícevrstvé perceptrony a sítě s radiálními bázovými funkcemi. Naproti tomu moderní typy neuronových sítí, jako jsou hluboké sítě a vícevrstevné sítě trénující pouze váhy mezi předposlední a poslední vrstvou, např. sítě typu extreme learning machine či typu random vector functional link, byly doposud používány k náhradnímu modelování jen velmi málo nebo vůbec ne. Totéž platí i pro kombinace neuronových sítí a gaussovských procesů, které jsou pro náhradní modelování zajímavé z toho důvodu, že gaussovské procesy samotné patří k nejčastěji používaným a nejúspěšnějším náhradním modelům. Některému z takovýchto dosud neprozkoumaných nebo málo prozkoumaných typů náhradních modelů by se měl věnovat každý zájemce o tuto diplomovou práci. |
literatura: |
https://www.cs.cas.cz/~martin/diplomka62.html |
naposledy změněno: |
20.11.2023 12:15:35 |
Umělé neuronové sítě v black-box optimalizaci
školitel: |
Martin Holeňa |
e-mail: |
zobrazit e-mail
|
typ práce: |
|
zaměření: |
MI_MM, MI_AMSM, MINF, APIN |
odkaz: |
http://www.cs.cas.cz/~martin/
|
popis: |
Jako black-box označujeme optimalizaci, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Protože tyto algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou black-box funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. Mezi regresními modely používanými k tomuto účelu jsou už zhruba 20 let i umělé neuronové sítě, nejdříve vícevrstvé perceptrony a později pak sítě s radiálními bázovými funkcemi. Pod vlivem současné popularity moderních typů neuronových sítí, často označovaných jako hluboké neuronové sítě, byly nicméně v posledních letech navrženy dva nové přístupy k urychlení black-box optimalizace založené právě na moderních neuronových sítích. První z nich spočívá v optimalizaci na latentním prostoru nižší dimenze, zobrazovaném generativní neuronovou sítí do původního prostoru, v němž leží vstupy optimalizované black-box funkce. Druhá na sítích typu GAN (generative adversarial network), jejichž dvě komponenty se používají pro explorační a exploatační složku optimalizace. |
literatura: |
viz https://www.cs.cas.cz/~martin/diplomka67.html |
poznámka: |
Student si k tomuto rámcovému tématu může vybrat z několika konkrétních diplomových prací podle toho, který druh umělých neuronových sítí ho nejvíce zajímá. |
naposledy změněno: |
13.01.2024 08:17:01 |
Urychlení evolučních algoritmů pomocí transformerů
školitel: |
Martin Holeňa |
e-mail: |
zobrazit e-mail
|
typ práce: |
|
zaměření: |
MI_MM, MI_AMSM, MINF, APIN |
odkaz: |
http://www.cs.cas.cz/~martin/
|
popis: |
Evoluční algoritmy jsou v posledních desetiletích jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, hledání nejvhodnějších materiálů s požadovanými vlastnostmi či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá někdy značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model, sloužící jako její náhradní model.
K nejstarším druhům náhradních modelů, které se začaly používat už před 20 i více lety, patřily i tradiční typy umělých neuronových sítí – vícevrstvé perceptrony a sítě s radiálními bázovými funkcemi. Naproti tomu moderní typy neuronových sítí, vyvíjené až v tomto století, byly doposud používány k náhradnímu modelování jen velmi málo nebo vůbec ne. Jedním z nejdůležitější typů moderních neuronových sítí jsou transformery, které se velmi osvědčily zejména s textovými a obrázkovými daty. Jejich nejvýznačnějším rysem je vyhodnocování korelace mezi daty použitými při trénování transformeru a daty, pro která má provádět predikce, pomocí specifické posloupnosti lineárních operátorů označované jako pozornost. Použití lineárních operátorů umožňuje transformerům trénovaným na velkém množství heterogenních dat výrazně zvýšit kvalitu predikce následným dotrénováním na malém množství dat specifických pro daný problém. Díky úspěšnosti transformerů bylo již navrženo použití transformerů i v optimalizaci, zatím ale ještě ne v roli náhradního modelu. Vyzkoušení tohoto přístupu je právě náplní navrhované práce. |
literatura: |
viz https://www.cs.cas.cz/~martin |
naposledy změněno: |
23.11.2023 18:23:59 |
Transfer learning v black-box optimalizaci
školitel: |
Martin Holeňa |
e-mail: |
zobrazit e-mail
|
typ práce: |
|
zaměření: |
MI_MM, MI_AMSM, MINF, APIN |
odkaz: |
http://www.cs.cas.cz/~martin
|
popis: |
Transfer learning (tedy učení přenosem, ale český překlad se v podstatě nepoužívá) je metoda algoritmické extrakce znalostí z řešeného problému a jejich zabudování do řešení jiného problému. Hlouběji studovat se začala zhruba před 20 lety, v souvislosti s rozvojem moderních typů neuronových sítí, často označovaných jako hluboké sítě. Umožňuje s využitím sítě natrénované na velkém množství dat natrénovat jinou síť podobné kvality na mnohem menším množství dat.
V posledních letech se objevují pokusy používat transfer learning i v black-box optimalizaci. To je optimalizace, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Pokud jde o transfer learning, ukazuje se, že podobně jako v případě neuronových sítí umožňuje natrénovat síť stejné kvality s menším množstvím trénovačích dat, umožňuje při black-box optimalizaci najít optimum na základě menšího počtu hodnot black-box funkce. To je velmi slibné z důvodu, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné.
Výzkum metod pro transfer learning v black-box optimalizac je však teprve v začátcích. Příspěvkem k němu by měla být i navržená diplomová práce, případně i několik diplomových prací lišících se tím, jakou metodu budou v kontextu black-box optimalizace zkoumat. |
literatura: |
viz https://www.cs.cas.cz/~martin/diplomka70.html |
naposledy změněno: |
13.01.2024 08:26:59 |
Databáze V3S
Aplikace V3S eviduje výsledky vědy a výzkumu a další aktivity vědecko-výzkumných pracovníků ve vědecké komunitě. Aplikace V3S slouží k odesílání výsledků do RIV, exportům pro statistické analýzy i k interním hodnocením vědecko-výzkumné činnosti.
Seznam publikaci ve V3S
za obsah této stránky zodpovídá:
Radek Fučík | naposledy změněno: 7.8.2011