. Martin Holeňa (external collaborator)
Representation learning for structured data
| advisor: |
Prof. Ing. RNDr. Martin Holeňa, CSc. |
| e-mail: |
show e-mail
|
| type: |
phd thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| key words: |
structured data, neural networks, representation learning, explainability, generative networks |
| link: |
http://www2.cs.cas.cz/~martin/
|
| description: |
In the last decade, neural learners have become the most popular and most successful kinds of machine learning models, especially their deep variants. After their success in image and nature language processing data, deep learning has spread also to other kinds of data, including structured data, containing combinations of different data types (e.g., numerical and categorical) and/or explicitly indicating semantic relations between different attributes through hierarchies or more general graphs. Yet, learning on structured data still entails many research challenges. Typical supervised and unsupervised learning algorithms are not easily applicable as the structured data are not directly representable in Euclidean space. To this end, representation learning – a specific approach proposed for structured inputs – embeds the data into an Euclidean space, thus yielding a latent representation attempting to preserve the similarity among inputs. Different representations have been already proposed for hierarchical or graph data. However, many open questions in this field still need to be investigated. The topic of the proposed PhD thesis will cover new trends in representation learning on structured data Primarily, it will focus on the following two aspects:
1. Comprehensibility and explainability, which are crucial due to the fact that the black-box nature of typical neural learners hides the semantic content of structured inputs. Representation learning has in this respect a greater potential than traditional methods for the extraction of logical rules from trained neural networks as well as than neuro-symbolic learning, but research into this direction is only emerging.
2. Combing representation learning and generative networks, recently proposed as a means of generating new training and testing data, but not yet sufficiently elaborated for structured inputs.
An additional contribution of the thesis will consist in the elaboration of representation learning for the structured data encountered in network security. |
| references: |
Literature to the topic is extensive, the supervisor will give advice what to read directly to the interested applicant, dependent on background and specific interests. |
| note: |
Co-supervisor: Lukáš Bajer, PhD (Cisco Cognitive Intelligence Research and Development) |
| last update: |
19.12.2019 10:08:24 |
Urychlení evolučních algoritmů pomocí neuronových sítí
| advisor: |
Martin Holeňa |
| e-mail: |
show e-mail
|
| type: |
bachelor thesis, master thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| link: |
http://www.cs.cas.cz/~martin/
|
| description: |
Evoluční algoritmy jsou v posledních desetiletích jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, hledání nejvhodnějších materiálů s požadovanými vlastnostmi či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá někdy značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model, označovaný jako její náhradní model.
K nejstarším druhům náhradních modelů, které se začaly používat už před 20 i více lety, patřily i tradiční typy umělých neuronových sítí – vícevrstvé perceptrony a sítě s radiálními bázovými funkcemi. Naproti tomu moderní typy neuronových sítí, jako jsou hluboké sítě a vícevrstevné sítě trénující pouze váhy mezi předposlední a poslední vrstvou, např. sítě typu extreme learning machine či typu random vector functional link, byly doposud používány k náhradnímu modelování jen velmi málo nebo vůbec ne. Totéž platí i pro kombinace neuronových sítí a gaussovských procesů, které jsou pro náhradní modelování zajímavé z toho důvodu, že gaussovské procesy samotné patří k nejčastěji používaným a nejúspěšnějším náhradním modelům. Některému z takovýchto dosud neprozkoumaných nebo málo prozkoumaných typů náhradních modelů by se měl věnovat každý zájemce o tuto diplomovou práci. |
| references: |
https://www.cs.cas.cz/~martin/diplomka62.html |
| note: |
Práce je primárně zamýšlená jako diplomová, ale pokud by někdo, kdo chce pokračovat z bakaláře do magistra, chtěl na tomto tématu pracovat od 3. až do 5. ročníku, rád mu seznámení s ním umožním už v bakalářce. |
| last update: |
09.04.2024 11:49:45 |
Umělé neuronové sítě v black-box optimalizaci
| advisor: |
Martin Holeňa |
| e-mail: |
show e-mail
|
| type: |
bachelor thesis, master thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| link: |
http://www.cs.cas.cz/~martin/
|
| description: |
Jako black-box označujeme optimalizaci, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Protože tyto algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou black-box funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. Mezi regresními modely používanými k tomuto účelu jsou už zhruba 20 let i umělé neuronové sítě, nejdříve vícevrstvé perceptrony a později pak sítě s radiálními bázovými funkcemi. Pod vlivem současné popularity moderních typů neuronových sítí, často označovaných jako hluboké neuronové sítě, byly nicméně v posledních letech navrženy dva nové přístupy k urychlení black-box optimalizace založené právě na moderních neuronových sítích. První z nich spočívá v optimalizaci na latentním prostoru nižší dimenze, zobrazovaném generativní neuronovou sítí do původního prostoru, v němž leží vstupy optimalizované black-box funkce. Druhá na sítích typu GAN (generative adversarial network), jejichž dvě komponenty se používají pro explorační a exploatační složku optimalizace. |
| references: |
viz https://www.cs.cas.cz/~martin/diplomka67.html |
| note: |
Práce je primárně zamýšlená jako diplomová, ale pokud by někdo, kdo chce pokračovat z bakaláře do magistra, chtěl na tomto tématu pracovat od 3. až do 5. ročníku, rád mu seznámení s ním umožním už v bakalářce. |
| last update: |
09.04.2024 11:49:16 |
Transfer learning v black-box optimalizaci
| advisor: |
Martin Holeňa |
| e-mail: |
show e-mail
|
| type: |
bachelor thesis, master thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| link: |
http://www.cs.cas.cz/~martin
|
| description: |
Transfer learning (tedy učení přenosem, ale český překlad se v podstatě nepoužívá) je metoda algoritmické extrakce znalostí z řešeného problému a jejich zabudování do řešení jiného problému. Hlouběji studovat se začala zhruba před 20 lety, v souvislosti s rozvojem moderních typů neuronových sítí, často označovaných jako hluboké sítě. Umožňuje s využitím sítě natrénované na velkém množství dat natrénovat jinou síť podobné kvality na mnohem menším množství dat.
V posledních letech se objevují pokusy používat transfer learning i v black-box optimalizaci. To je optimalizace, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Pokud jde o transfer learning, ukazuje se, že podobně jako v případě neuronových sítí umožňuje natrénovat síť stejné kvality s menším množstvím trénovačích dat, umožňuje při black-box optimalizaci najít optimum na základě menšího počtu hodnot black-box funkce. To je velmi slibné z důvodu, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné.
Výzkum metod pro transfer learning v black-box optimalizac je však teprve v začátcích. Příspěvkem k němu by měla být i navržená diplomová práce, případně i několik diplomových prací lišících se tím, jakou metodu budou v kontextu black-box optimalizace zkoumat. |
| references: |
viz https://www.cs.cas.cz/~martin/diplomka70.html |
| note: |
Práce je primárně zamýšlená jako diplomová, ale pokud by někdo, kdo chce pokračovat z bakaláře do magistra, chtěl na tomto tématu pracovat od 3. až do 5. ročníku, rád mu seznámení s ním umožním už v bakalářce. |
| last update: |
09.04.2024 11:47:54 |
Evoluční hledání optimální architektury neuronové sítě
| advisor: |
Martin Holeňa |
| e-mail: |
show e-mail
|
| type: |
bachelor thesis, master thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| link: |
http://www.cs.cas.cz/~martin
|
| description: |
Automatizovaný návrh architektury neuronové sítě, obecně označovaný jako hledání architektury neuronové sítě (neural architectre search, NAS) je jedním z klíčových problémů oblasti strojového učení označované jako AutoML, tedy automatizované strojové učení. Mezi úspěšné přístupy k řešení tohoto problému patří bayesovská optimalizace a posilované učení s náhodným výběrem v prostoru architektur pomocí rekurentní sítě, které se kombinuje se sdílením parametrů.
V posledních letech jim začíná úspěšně konkurovat přístup založený na evolučních optimalizačních metodách. Z nich zejména na genetickém programování, zaměřujícím se na evoluci stromových struktur, které jsou vhodné k reprezentaci nejen počítačových programů, ale i růstu architektur umělých neuronový sítí. Výzkum však zahrnuje i jiné typy evoluční optimalizace.
Příspěvkem k němu by měla být i navržená diplomová práce, případně i několik diplomových prací lišících se tím, jakou metodu budou v kontextu hledání architektury neuronové sítě zkoumat. |
| references: |
viz https://www.cs.cas.cz/~martin/diplomka71.html |
| note: |
Práce je primárně zamýšlená jako diplomová, ale pokud by někdo, kdo chce pokračovat z bakaláře do magistra, chtěl na tomto tématu pracovat od 3. až do 5. ročníku, rád mu seznámení s ním umožním už v bakalářce. |
| last update: |
09.04.2024 11:48:12 |
Fyziky-znalé neuronové sítě, použité k modelování růstu krystalů
| advisor: |
Martin Holeňa |
| e-mail: |
show e-mail
|
| type: |
bachelor thesis, master thesis
|
| branch of study: |
MI_MM, MI_AMSM, MINF, APIN |
| link: |
http://www.cs.cas.cz/~martin/
|
| description: |
Fyziky-znalé neuronové sítě (physics-informed neural networks) jsou pravděpodobně nejslibnějším z těch typů umělých neuronových sítí, které byly navrženy teprve ve druhé polovině druhého desetiletí tohoto století. Kombinují tradiční schopnost neuronových sítí zachytit libovolné závislosti v datech s modelováním vztahů mezi různými veličinami a jejich derivacemi podle různých proměnných pomocí parciálních diferenciálních rovnic. Parciální diferenciální rovnice se již od 19. století používají k popisu přírodních zákonitostí ve fyzice, chemii a dalších přírodních vědách. Zabudování znalostí o těchto zákonitostech do neuronové sítě ji umožňuje natrénovat na požadovanou úroveň predikční přesnosti s menším množstvím trénovacích dat.
V diplomové práci budou fyziky-znalé neuronové sítě použity k modelování řízeného růstu krystalů. Jejich použití k tomuto účelu zatím není z literatury známo, přestože jde o použití, které má velký praktický význam. Řízeným růstem se vyrábí křemíkové a galium-arsenové krystaly, které jsou nepostradatelné v elektronice.
Diplomant se nejdříve důkladně seznámí s obecnou kostrukcí fyziky-znalých neuronových sítí. Poté se seznámí s některým z jednoduchých modelů růstu krystalů založených na parciálních diferenciálních rovnicích. Obecné schéma konstrukce fyziky-znalé neuronové sítě konkretizuje pro zvolený model, a to jak teoreticky, tak na implementační úrovni. Odladěnou implementaci fyziky-znalé neuronové sítě ověří na datech dodaných vedoucím práce a implementavaou síť také vyexportuje do platformově nezávislého formátu pro modelování pomocí neuronových sítí, ONNX. |
| references: |
viz https://www.cs.cas.cz/~martin/diplomka72.html |
| last update: |
16.04.2024 10:09:43 |
V3S Database
The application records results of science and research, and other academic activities. The V3S application serves as a tool for submitting data to the RIV database, exporting data for statistic analyses, and internal evaluation of research.
List of publications in V3S
administrator for this page:
Radek Fučík | last update: 08/07/2011
