. Martin Holeňa (external collaborator)
Representation learning for structured data
| advisor: |
Prof. Ing. RNDr. Martin Holeňa, CSc. |
| e-mail: |
show e-mail
|
| type: |
phd thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| key words: |
structured data, neural networks, representation learning, explainability, generative networks |
| link: |
http://www2.cs.cas.cz/~martin/
|
| description: |
In the last decade, neural learners have become the most popular and most successful kinds of machine learning models, especially their deep variants. After their success in image and nature language processing data, deep learning has spread also to other kinds of data, including structured data, containing combinations of different data types (e.g., numerical and categorical) and/or explicitly indicating semantic relations between different attributes through hierarchies or more general graphs. Yet, learning on structured data still entails many research challenges. Typical supervised and unsupervised learning algorithms are not easily applicable as the structured data are not directly representable in Euclidean space. To this end, representation learning – a specific approach proposed for structured inputs – embeds the data into an Euclidean space, thus yielding a latent representation attempting to preserve the similarity among inputs. Different representations have been already proposed for hierarchical or graph data. However, many open questions in this field still need to be investigated. The topic of the proposed PhD thesis will cover new trends in representation learning on structured data Primarily, it will focus on the following two aspects:
1. Comprehensibility and explainability, which are crucial due to the fact that the black-box nature of typical neural learners hides the semantic content of structured inputs. Representation learning has in this respect a greater potential than traditional methods for the extraction of logical rules from trained neural networks as well as than neuro-symbolic learning, but research into this direction is only emerging.
2. Combing representation learning and generative networks, recently proposed as a means of generating new training and testing data, but not yet sufficiently elaborated for structured inputs.
An additional contribution of the thesis will consist in the elaboration of representation learning for the structured data encountered in network security. |
| references: |
Literature to the topic is extensive, the supervisor will give advice what to read directly to the interested applicant, dependent on background and specific interests. |
| note: |
Co-supervisor: Lukáš Bajer, PhD (Cisco Cognitive Intelligence Research and Development) |
| last update: |
19.12.2019 10:08:24 |
Urychlení evolučních algoritmů pomocí neuronových sítí
| advisor: |
Martin Holeňa |
| e-mail: |
show e-mail
|
| type: |
bachelor thesis, master thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| link: |
http://www.cs.cas.cz/~martin/
|
| description: |
Evoluční algoritmy jsou v posledních desetiletích jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, hledání nejvhodnějších materiálů s požadovanými vlastnostmi či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá někdy značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model, označovaný jako její náhradní model.
K nejstarším druhům náhradních modelů, které se začaly používat už před 20 i více lety, patřily i tradiční typy umělých neuronových sítí – vícevrstvé perceptrony a sítě s radiálními bázovými funkcemi. Naproti tomu moderní typy neuronových sítí, jako jsou hluboké sítě a vícevrstevné sítě trénující pouze váhy mezi předposlední a poslední vrstvou, např. sítě typu extreme learning machine či typu random vector functional link, byly doposud používány k náhradnímu modelování jen velmi málo nebo vůbec ne. Totéž platí i pro kombinace neuronových sítí a gaussovských procesů, které jsou pro náhradní modelování zajímavé z toho důvodu, že gaussovské procesy samotné patří k nejčastěji používaným a nejúspěšnějším náhradním modelům. Některému z takovýchto dosud neprozkoumaných nebo málo prozkoumaných typů náhradních modelů by se měl věnovat každý zájemce o tuto diplomovou práci. |
| references: |
https://www.cs.cas.cz/~martin/diplomka62.html |
| note: |
Práce je primárně zamýšlená jako diplomová, ale pokud by někdo, kdo chce pokračovat z bakaláře do magistra, chtěl na tomto tématu pracovat od 3. až do 5. ročníku, rád mu seznámení s ním umožním už v bakalářce. |
| last update: |
09.04.2024 11:49:45 |
Umělé neuronové sítě v black-box optimalizaci
| advisor: |
Martin Holeňa |
| e-mail: |
show e-mail
|
| type: |
bachelor thesis, master thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| link: |
http://www.cs.cas.cz/~martin/
|
| description: |
Jako black-box označujeme optimalizaci, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Protože tyto algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou black-box funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. Mezi regresními modely používanými k tomuto účelu jsou už zhruba 20 let i umělé neuronové sítě, nejdříve vícevrstvé perceptrony a později pak sítě s radiálními bázovými funkcemi. Pod vlivem současné popularity moderních typů neuronových sítí, často označovaných jako hluboké neuronové sítě, byly nicméně v posledních letech navrženy dva nové přístupy k urychlení black-box optimalizace založené právě na moderních neuronových sítích. První z nich spočívá v optimalizaci na latentním prostoru nižší dimenze, zobrazovaném generativní neuronovou sítí do původního prostoru, v němž leží vstupy optimalizované black-box funkce. Druhá na sítích typu GAN (generative adversarial network), jejichž dvě komponenty se používají pro explorační a exploatační složku optimalizace. |
| references: |
viz https://www.cs.cas.cz/~martin/diplomka67.html |
| note: |
Práce je primárně zamýšlená jako diplomová, ale pokud by někdo, kdo chce pokračovat z bakaláře do magistra, chtěl na tomto tématu pracovat od 3. až do 5. ročníku, rád mu seznámení s ním umožním už v bakalářce. |
| last update: |
09.04.2024 11:49:16 |
Urychlení evolučních algoritmů pomocí transformerů
| advisor: |
Martin Holeňa |
| e-mail: |
show e-mail
|
| type: |
bachelor thesis, master thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| link: |
http://www.cs.cas.cz/~martin/
|
| description: |
Evoluční algoritmy jsou v posledních desetiletích jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, hledání nejvhodnějších materiálů s požadovanými vlastnostmi či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá někdy značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model, sloužící jako její náhradní model.
K nejstarším druhům náhradních modelů, které se začaly používat už před 20 i více lety, patřily i tradiční typy umělých neuronových sítí – vícevrstvé perceptrony a sítě s radiálními bázovými funkcemi. Naproti tomu moderní typy neuronových sítí, vyvíjené až v tomto století, byly doposud používány k náhradnímu modelování jen velmi málo nebo vůbec ne. Jedním z nejdůležitější typů moderních neuronových sítí jsou transformery, které se velmi osvědčily zejména s textovými a obrázkovými daty. Jejich nejvýznačnějším rysem je vyhodnocování korelace mezi daty použitými při trénování transformeru a daty, pro která má provádět predikce, pomocí specifické posloupnosti lineárních operátorů označované jako pozornost. Použití lineárních operátorů umožňuje transformerům trénovaným na velkém množství heterogenních dat výrazně zvýšit kvalitu predikce následným dotrénováním na malém množství dat specifických pro daný problém. Díky úspěšnosti transformerů bylo již navrženo použití transformerů i v optimalizaci, zatím ale ještě ne v roli náhradního modelu. Vyzkoušení tohoto přístupu je právě náplní navrhované práce. |
| references: |
viz https://www.cs.cas.cz/~martin/diplomka69.html |
| note: |
Práce je primárně zamýšlená jako diplomová, ale pokud by někdo, kdo chce pokračovat z bakaláře do magistra, chtěl na tomto tématu pracovat od 3. až do 5. ročníku, rád mu seznámení s ním umožním už v bakalářce. |
| last update: |
03.07.2024 14:08:10 |
Transfer learning v black-box optimalizaci
| advisor: |
Martin Holeňa |
| e-mail: |
show e-mail
|
| type: |
bachelor thesis, master thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| link: |
http://www.cs.cas.cz/~martin
|
| description: |
Transfer learning (tedy učení přenosem, ale český překlad se v podstatě nepoužívá) je metoda algoritmické extrakce znalostí z řešeného problému a jejich zabudování do řešení jiného problému. Hlouběji studovat se začala zhruba před 20 lety, v souvislosti s rozvojem moderních typů neuronových sítí, často označovaných jako hluboké sítě. Umožňuje s využitím sítě natrénované na velkém množství dat natrénovat jinou síť podobné kvality na mnohem menším množství dat.
V posledních letech se objevují pokusy používat transfer learning i v black-box optimalizaci. To je optimalizace, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Pokud jde o transfer learning, ukazuje se, že podobně jako v případě neuronových sítí umožňuje natrénovat síť stejné kvality s menším množstvím trénovačích dat, umožňuje při black-box optimalizaci najít optimum na základě menšího počtu hodnot black-box funkce. To je velmi slibné z důvodu, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné.
Výzkum metod pro transfer learning v black-box optimalizac je však teprve v začátcích. Příspěvkem k němu by měla být i navržená diplomová práce, případně i několik diplomových prací lišících se tím, jakou metodu budou v kontextu black-box optimalizace zkoumat. |
| references: |
viz https://www.cs.cas.cz/~martin/diplomka70.html |
| note: |
Práce je primárně zamýšlená jako diplomová, ale pokud by někdo, kdo chce pokračovat z bakaláře do magistra, chtěl na tomto tématu pracovat od 3. až do 5. ročníku, rád mu seznámení s ním umožním už v bakalářce. |
| last update: |
09.04.2024 11:47:54 |
Využití teorie her k analýze neuronových sítí pro evoluční black-box optimalizaci
| advisor: |
Martin Holeňa |
| e-mail: |
show e-mail
|
| type: |
bachelor thesis, master thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| link: |
http://www.cs.cas.cz/~martin/
|
| description: |
Evoluční algoritmy jsou v posledních desetiletích jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, hledání nejvhodnějších materiálů s požadovanými vlastnostmi či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá někdy značně nákladné i časově náročné. Evoluční optimalizaci však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používá empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocuje pouze dostatečně přesný regresní model, označovaný jako její náhradní model.
K nejstarším druhům náhradních modelům, které se začaly používat už před více než 20 lety, patřily i tradiční typy umělých neuronových sítí – vícevrstvé perceptrony a sítě s radiálními bázovými funkcemi. Naproti tomu moderní typy neuronových sítí, jako jsou transformery a autoencodery, dosud k náhradnímu modelování použity nebyly. Velmi málo k němu byly dosud použity i kombinace neuronových sítí a gaussovských procesů, zatímco gaussovské procesy samotné patří k nejčastěji používaným a nejúspěšnějším náhradním modelům. Některému z takovýchto dosud neprozkoumaných nebo málo prozkoumaných typů náhradních modelů by se měl věnovat zájemce o tuto diplomovou práci. Přitom bude analyzovat vztah mezi vlastnostmi optimalizované funkce a úspěšností evoluční optimalizace při použití různých náhradních modelů pomocí Shapleyho hodnot z teorie her. |
| references: |
viz https://www.cs.cas.cz/~martin/diplomka73.html |
| last update: |
05.11.2024 14:21:46 |
V3S Database
The application records results of science and research, and other academic activities. The V3S application serves as a tool for submitting data to the RIV database, exporting data for statistic analyses, and internal evaluation of research.
List of publications in V3S
administrator for this page:
Radek Fučík | last update: 08/07/2011
