doc. Ing. RNDr. Martin Holeňa, CSc. (externí spolupracovník)

Martin Holeňa - fotografie
e-mail: zobrazit e-mail
www: http://www2.cs.cas.cz/~martin
instituce: ÚI AV ČR
 
předmět kód vyučující zs ls zs kr. ls kr.
Neuronové sítě a jejich aplikace01NEUR1 Hakl, Holeňa - - 2+0 zk - 2
Předmět:Neuronové sítě a jejich aplikace 101NEUR1----
Anotace:Klíčová slova:
Neuronové sítě, separace dat, approximace funkcí, učení s učitelem.
Osnova:1. Základní koncepty umělých neuronových sítí.
2. Nejběžňejší typy umělých neuronových sítí.
3. Základní numerické metody učení neuronových sítí.
4. Metody optimalizace návrhu architektur neuronových sítí.
5. Přehled základních typů úloh řešených neuronovými sítěmi.
6. Práce s umělými neuronovými sítěmi ve vývojovém prostředí Matlab a ROOT.
Osnova cvičení:
Cíle:Znalosti:
Základní pojmy, vlastnosti a využití modelů umělých neuronových sítí.

Schopnosti:
Orientace v dané problematice, schopnost používání modelů umělých neuronových sítí pro řešení praktických úloh z oblasti aproximace funkci, separace množin a predikce časových řad.
Požadavky:
Rozsah práce:
Kličová slova:
Literatura:Literatura povinná:
[1] R. Rojas. Neural Networks ? A Systematic Introduction. Springer. 1991

Literatura doporučená:
[2] B.D. Ripley. Pattern Recognition and Neural Networks. Cambridge University Press. 1996

Teoretické základy neuronových sítí01NEUR2 Hakl, Holeňa 2+0 zk - - 3 -
Předmět:Teoretické základy neuronových sítí01NEUR2----
Anotace:Klíčová slova:
Approximace funkcí, učení s učitelem, VC-dimenze.
Osnova:1. Přístup k umělým neuronovým sítím z hlediska teorie aproximace funkcí.
2. Přístup k umělým neuronovým sítím z hlediska teorie pravděpodobnosti.
3. Analýza řešitelnosti vybraných úloh modely neuronových sítí.
4. Kvalitativní descriptory neuronových sítí (VC-dimenze, pseudodimenze, citlivostní dimenze).
5. Teoretické základy učení neuronových sítí.
6. Vybrané pokročilé klasifikační aplikace umělých neuronových sítí.

Osnova cvičení:
Cíle:Znalosti:
Teoretické základy pro studium vlastností a potenciálu modelů umělých neuronových sítí.

Schopnosti:
Pokročilá schopnost analýzy vhodnosti a efektivity modelů umělých neuronových sítí pro praktické aplikace. Fundamentální základy pro rozšiřování teoretických poznatků umožňujících vyšší pochopení a rozvoj principů umělé inteligence.
Požadavky:Některá vybraná témata v této přednášce velmi úzce souvisí s obsahem přednášky ?Pravděpodobnostní modely učení?, která tato vybraná témata prezentuje v mnohem širší a hlubší formě.
Rozsah práce:
Kličová slova:
Literatura:Literatura povinná:
[1] J. Šíma, R. Neruda. Teoretické otázky neuronových sítí. Matfyzpress. 1996

Literatura doporučená:
[2] M. Anthony, P. L. Bartlett. Neural Network Learning: Theoretical foundations. Cambridge university Press, 2009.
[3] M. Vidyasagar. A theory of Learning and Generalization. Springer 1997.
[4] V. Roychowdhury, K-Y. Siu, A. Orlitsky. Theoretical advances in neural computation and learning. Kluwer Academic Publishers. 1994.

Urychlení evolučních algoritmů pomocí rozhodovacích stromů a jejich zobecnění

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, MINF, APIN
klíčová slova: optimalizace, evoluční algoritmy, empirické funkce, regresní modely, rozhodovací stromy
odkaz: http://www.cs.cas.cz/~martin/diplomka38.html
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších znalostí v dostupných datech, či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy používají pouze funkční hodnoty cílové funkce, blíží s k jejímu optimu mnohem pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu cílové funkce, případně i o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nevýhodná v kontextu nákladného a časově náročného empirického způsobu získávání hodnot cílové funkce. Evoluční algoritmy však lze podstatně urychlit, jestliže při vyhodnocování funkčních hodnot cílové funkce používají empirickou cílovou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model této funkce. Jednoduchý, ale často používaný typ regresních modelů je založený na rozhodovacích stromech. Tyto regresní modely, tzv. regresní stromy, jsou po částech konstantní a lze je snadno zobecnit na složitější modely. Výzkum využitelnosti regresních stromů a jejich zobecnění k urychlení evoluční optimalizace empirických funkcí je však teprve na samém počátku. Přispět by k němu měla i navržená diplomová práce. Student se nejdříve důkladně seznámí s regresními stromy a jejich zobecněními a také s principy optimalizace pomocí evolučních algoritmů. Bude přitom věnovat pozornost i urychlení evoluční optimalizace empirických funkcí pomocí regresního modelu cílové funkce. S využitím prostudované literatury navrhne algoritmy využití regresních stromů a jejich zobecnění k tomuto účelu. Algoritmy dovede až do podoby prototypové implementace ve vývojovém prostředí Matlab a porovná je na několika testovacích funkcích pro evoluční algoritmy, jakož i na alespoň jedné databázi hodnot empirické cílové funkce z reálné aplikace, kterou dostane od vedoucího práce.
literatura: viz níže uvedené URL
poznámka: šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 21.01.2018 16:43:29

Evoluční algoritmy a aktivní učení

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, MINF, APIN
klíčová slova: optimalizace, evoluční algoritmy, empirické optimalizované funkce, regresní modely, aktivní učení
odkaz: http://www.cs.cas.cz/~martin/diplomka44.html
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších informací v dostupných datech či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. Právě přesnost modelu určuje, jak úspěšnou náhražkou původní empirické funkce bude. Proto se po získání každé nové generace bodů, v nichž byla empirická funkce vyhodnocena, model zpřesňuje opakovaným učením zahrnujícím tyto body. Lze však jít ještě dále a již při volbě bodů pro empirické vyhodnocení brát kromě hodnoty empirické funkce také v úvahu, jak při opakovaném učení modelu přispějí k jeho zpřesnění. Takový přístup se označuje jako aktivní učení. Používání aktivního učení k urychlení evolučních algoritmů je však teprve v úplných začátcích a měla by ho podpořit i navržená diplomová práce. Student se nejdříve seznámí s principy optimalizace pomocí evolučních algoritmů i s principy urychlení evoluční optimalizace empirických funkcí pomocí regresních modelu. Poté se důkladně seznámí s aktivním učením, zejména s aktivním učením regresních modelů. Některé metody aktivního učení regresních modelů implementuje pro některé regresní modely používané k urychlení evoluční optimalizace empirických funkcí a v tomto kontextu také otestuje. Na základě prostudované literatury i výsledků testování navrhne jednu až dvě modifikace existujících metod, které opět implementuje a otestuje.
literatura: viz http://www.cs.cas.cz/~martin/diplomka45.html
poznámka: Šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 21.01.2018 16:42:46

Využití aktivního učení v optimalizaci

školitel: doc. Ing. RNDr. Martin Holeňa, CSc.
e-mail: zobrazit e-mail
typ práce: dizertační práce
zaměření: MI_MM, MI_AMSM, II_SIMI
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších informací v dostupných datech či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. Právě přesnost modelu určuje, jak úspěšnou náhražkou původní empirické funkce bude. Proto se po získání každé nové generace bodů, v nichž byla empirická funkce vyhodnocena, model zpřesňuje opakovaným učením zahrnujícím tyto body. Lze však jít ještě dále a již při volbě bodů pro empirické vyhodnocení brát kromě hodnoty empirické funkce také v úvahu, jak při opakovaném učení modelu přispějí k jeho zpřesnění. Takový přístup se označuje jako aktivní učení. Používání aktivního učení k urychlení evolučních algoritmů je však teprve v úplných začátcích a měla by ho podpořit i navržená práce.
literatura: Evolutionary algorithms are, in the last 20 years, one of the most successful methods for solving non-traditional optimization problems, such as search for the most suitable documents containing required information, discovery of the most interesting knowledge in available data, or other kinds of optimization tasks in which the values of the objective function can be obtained only empirically. Because evolutionary algorithms employ only function values of the objective function, they approach its optimum much more slowly than optimization methods for smooth functions, which make use of information about the objective function gradients as well, possibly also about its second derivatives. This property of evolutionary algorithms is particularly disadvantageous in the context of costly and time-consuming empirical way of obtaining values of the objective function. However, evolutionary algorithms can be substantially speeded up if they employ the empirical objective function only sometimes when evaluating objective function values, whereas they mostly evaluate only a sufficiently accurate regression model of that function. It is the accuracy of the model that determines how successful surrogate of the original empirical function it will be. Therefore, the model is made more accurate after obtaining each new generation of points in which the empirical function has been evaluated, through re-learning including those points. However, it is possible to go even further and to consider, when choosing points for empirical evaluation, besides the value of the empirical function also how they contribute, during model re-learning, to making it more accurate. Such an approach is termed active learning. However, using active learning to accelerate evolutionary algorithms is only at a very beginning, and should be supported also by the proposed thesis.
naposledy změněno: 13.04.2013 18:31:35

Objevování zajímavých znalostí v datech pomocí evolučních algoritmů

školitel: doc. Ing. RNDr. Martin Holeňa, CSc.
e-mail: zobrazit e-mail
typ práce: dizertační práce
zaměření: MI_MM, MI_AMSM, II_SIMI
popis: K nejrychleji se rozvíjejícím informačním technologiím patří od první poloviny 90. let dobývání znalostí z dat (data mining). Pod tímto názvem se skrývají metody, které z nepřehledné spousty primárních dat, s níž se dnes člověk musí prakticky ve všech oblastech potýkat, umožňují extrahovat přehledné množiny strukturovaných znalostí, v těchto datech latentně obsažených. Jedním z nejpoužívanějších způsobů strukturovaného vyjádření znalostí obsažených v datech jsou specifické typy logických tvrzení, tzv. pravidla. Dnes již existuje několik desítek metod pro extrakci pravidel z dat, pomocí nichž lze často získat velmi rozsáhlé soubory velmi rozmanitých pravidel. Tím se ztrácí původní účel dobývání znalostí z dat – nahradit velké množství dat malým množstvím důležitých znalostí. Z pravidel, která lze v datech nalézt, je proto nutné vybírat pouze ta, která jsou nejzajímavější nebo z nějakého jiného hlediska nejdůležitější. To vede na úlohu optimalizace na množině pravidel, tedy na diskrétní množině která neleží v žádném běžném metrickém prostoru. K nejmodernějším metodám, které se pro optimalizaci na takových množinách používají, patří evoluční algoritmy, zejména jeden jejich typ - genetické algoritmy. Jejich charakteristickým rysem je, že způsob, kterým se metoda přibližuje k hledanému optimu, je inspirován přirozeným výběrem ve vývoji biologických druhů, v případě genetických algoritmů potom speciálně mutacemi a křížením chromozomů. Právě využití genetických algoritmů k optimalizaci získávání pravidel z dat by mělo být náplní navržené práce.
literatura: Since the early 1990s, data mining belongs to the most quickly developing information technologies. This term covers methods that allow to extract, from unsurveyable amounts of primary data that one has to tackle in nearly all areas, surveyable sets of structured knowledge latently contained in those data. One of the most frequently used ways of a structured representation of knowledge contained in data are specific kinds of logical sentences, called rules. Nowadays, already several dozens of methods for rules extraction from data exist, by means of which very vast sets of very different rules can frequently be obtained. In this way, the original objective of data mining gets lost: to replace a large amount of data with a small amount of important knowledge. Therefore, it is necessary to choose only those from among the rules that can be found in the data that are the most interesting, or from some other point of view the most important. That leads to an optimization task on the set of rules, thus on a discrete set not lying in any common metric space. The most modern methods used for optimization on such sets include evolutionary algorithms, especially one kind of them genetic algorithms. A characteristic feature of evolutionary algorithms is that the way in which the method approaches the sought optimum has been inspired by the natural selection in the evolution of biological species, in the case of genetic algorithms then in particular by mutations and recombinations of chromosomes. It is the use of genetic algorithms for the opimization of obtaining rules from data that should be the topic of the proposed thesis.
naposledy změněno: 20.11.2017 22:35:45

Urychlení evoluční optimalizace pomocí neparametrické regrese

školitel: doc. Ing. RNDr. Martin Holeňa, CSc.
e-mail: zobrazit e-mail
typ práce: dizertační práce
zaměření: MI_MM, MI_AMSM, II_SIMI
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímavějších znalostí v dostupných datech, či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy používají pouze funkční hodnoty cílové funkce, blíží s k jejímu optimu mnohem pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu cílové funkce, případně i o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nevýhodná v kontextu nákladného a časově náročného empirického způsobu získávání hodnot cílové funkce. Evoluční algoritmy však lze podstatně urychlit, jestliže při vyhodnocování funkčních hodnot cílové funkce používají empirickou cílovou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model této funkce. Většina regresních modelů je vybírána z rodin funkcí parametrizovaných konečným počtem předem daných parametrů, např. lineární regrese, polynomiální regrese, regrese založená na jádrových funkcích nebo na některých typech umělých neuronových sítí. Díky růstu výkonnosti počítačů však v posledních dvou desetiletích získaly značný význam i modely neparametrické. Ty jsou výpočetně náročnější, ale také flexibilnější a díky tomu univerzálnější. Jejich nejtradičnějším často používaným zástupcem jsou zobecněné aditivní modely. Výzkum využitelnosti neparametrických regresních modelů k urychlení evoluční optimalizace empirických funkcí je však teprve na samém počátku. Přispět by k němu měla i navržená práce.
literatura: Evolutionary algorithms are, in the last 20 years, one of the most successful methods for solving non-traditional optimization problems, such as search for the most suitable documents containing required information, discovery of the most interesting knowledge in available data, or other kinds of optimization tasks in which the values of the objective function can be obtained only empirically. Because evolutionary algorithms employ only function values of the objective function, they approach its optimum much more slowly than optimization methods for smooth functions, which make use of information about the objective function gradients as well, possibly also about its second derivatives. This property of evolutionary algorithms is particularly disadvantageous in the context of costly and timeconsuming empirical way of obtaining values of the objective function. However, evolutionary algorithms can be substantially speeded up if they employ the empirical objective function only sometimes when evaluating objective function values, whereas they mostly evaluate only a sufficiently accurate regression model of that function. Most of the regression models are selected from families of functions parametrized with a finite number of parameters given in advance, e.g., linear regression, polynomial regression, regression based on kernel functions or on some kinds of neural networks. Due to increasing power of computers, however, also non-parametric models have been gaining importance during the last two decades. They are computationally more demanding, but also more flexible, and therefore more universal. Their most traditional frequently employed representative are generalized additive models. Investigation into utilizability of non-parametric regression models for speeding up evolutionary optimization of empirical functions is, however, only at its very beginning. It should be contributed also by the proposed thesis.
naposledy změněno: 20.11.2017 22:35:42

Online trénování hlubokých neuronových sítí pro klasifikaci

školitel: doc. Ing. RNDr. Martin Holeňa, CSc.
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, MINF, APIN
odkaz: http://www.cs.cas.cz/~martin/diplomka50.html
popis: Online trénování označuje trénování modelů strojového učení když jsou jejich trénovací data online aktualizována. V takových situacích pravděpodobnostní rozdělení trénovacích dat typicky bývá nestacionární a vyvíjí se. Online trénování se používá s oběma hlavními typy strojového učení s učitelem – klasifikací a regresí, stejně tak jako v kontextu učení bez učitele. Kvůli online aktualizaci a vývoji trénovacích dat se online učení musí vypořádávat s několika specifickými problémy, jako např. s možností posunu pojmů, s vlivem časového horizontu, s možností zapomínání a s vlivem jeho rychlosti. V tomto desetiletí jsou pravděpodobně nejpopulárnějším a nejrychleji se rozvíjejícím druhem modelů strojového učení hluboké neuronové sítě. Pro ně je však výzkum zabývající se online učením, zvláště pak online učením s učitelem, a výše zmíněnými problémy teprve v začátcích. To činí navržené téma velmi aktuálním, zvláště v oblastech, které poskytují vyvíjející se data ve velkých množstvích potřebných pro hluboké učení, jako je analýza obsahu webu, detekce proniknutí do sítě či detekce malware. Poslední zmíněná oblast je zamýšlenou oblastí aplikace navrženého výzkumu.
literatura: viz http://www.cs.cas.cz/~martin/diplomka50.html
naposledy změněno: 21.01.2018 23:44:39

Semi-supervizované učení hlubokých neuronových sítí

školitel: doc. Ing. RNDr. Martin Holeňa, CSc.
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, MINF, APIN
popis: Semi-supervizované učení označuje učení klasifikačních a regresních modelů, pro které je k dispozici na jedné straně množina oštítkovaných dat, na druhé straně jiná, typicky mnohem větší množina neoštítkovaných dat. Vždy spočívá ve vytvoření určitého spojení mezi jednotlivými neoštítkovanými daty a jedním nebo více oštítkovanými daty. Toto spojeni může být buď ostré nebo fuzzy a vždy spočívá na nějakém druhu podobnosti mezi jednotlivými spojenými daty. Velké množství měr podobnosti, se kterými se setkáváme v tomto kontextu, sahá od vzdáleností založených na normách v eukleidovském prostoru po sémantické podobnosti reprezentované pomocí grafů. Navíc může semi-supervizované učení buď vyjít z oštítkovanýmch dat, které iniciují shlukování neoštítkovaných dat, nebo začít vytvářením shluků neoštítkovaných dat, které jsou následně přizpůsobeny dostupným oštítkovaným datům. Konečně, výzkum semi-supervizovaného učení se vzájemně ovlivňuje s výzkumem aktivního učení, které spočívá ve výběru těch neoštítkovaných dat, jejichž oštítkování je z nějakého hlediska nejužitečnější. V tomto desetiletí jsou pravděpodobně nejpopulárnějším a nejrychleji se rozvíjejícím druhem klasifikačních i regresních modelů hluboké neuronové sítě. S nimi semi-supervizované učení dosud používalo pouze nejběžnější varianty jak přístupu vycházejícího z oštítkovaných dat, tak i přístupu vycházejícího ze shlukování neoštítkovaných dat, druhý z nich zejména pokud i shlukování je prováděno pomocí hlubokých sítí, konkrétně autoenkoderů. Výzkum důmyslnějších metod semi-supervizovaného učení je v kontextu hlubokých neuronových sítí úplně na začátku. Zvláště žádoucí by bylo využít schopnost hlubokých sítí extrahovat v průběhu učení nové, relevantnější příznaky. Důležitost výzkumu semi-supervizovaného učení hlubokých neuronových sítí je důsledkem skutečnosti, že hluboké učení potřebuje velké množství dat. Tato důležitost je zvláště vysoká v oblastech, kde je obtížné získat oštítkovaná data, buď proto, že musí být získávána experimentálně, nebo protože vyžaduje časově náročné zapojení člověka – experta, jako např. v oblastech analýza sentimentu, detekce proniknutí do sítě či detekce malware. Poslední zmíněná oblast je zamýšlenou oblastí aplikace navrženého výzkumu.
literatura: viz http://www.cs.cas.cz/~martin/diplomka51.html
naposledy změněno: 20.02.2018 22:06:07

za obsah této stránky zodpovídá: Radek Fučík | naposledy změněno: 7.8.2011
Trojanova 13, 120 00 Praha 2, tel. 224 358 540, pevná linka 224 923 098, fax 234 358 643
České vysoké učení technické v Praze | Fakulta jaderná a fyzikálně inženýrská | Katedra matematiky