doc. Ing. RNDr. Martin Holeňa, CSc. (externí spolupracovník)

Martin Holeňa - fotografie
e-mail: zobrazit e-mail
www: http://www2.cs.cas.cz/~martin
instituce: ÚI AV ČR
 
předmět kód vyučující zs ls zs kr. ls kr.
Neuronové sítě a jejich aplikace01NSAP Hakl, Holeňa 3+0 zk - - 4 -
Předmět:Neuronové sítě a jejich aplikace01NSAPIng. Hakl František CSc. / Doc. Ing. RNDr. Holeňa Martin CSc.3+0 ZK-4-
Anotace:Úvod do teorie umělých neuronových sítí, některé důležité druhy neuronových sítí, analýza binárních neuronových sítí pomocí prahových vektorů, vyčíslitelnost tříd Booleovských funkcí neuronovými sítěmi, neuronové sítě z hlediska aproximace funkcí, neuronové sítě z hlediska teorie pravděpodobnosti, numerické vlastnosti vybraných učících algoritmů.
Osnova:Úvod do teorie neuronových sítí, základní modely, analýza binárních neuronových sítí, aproximační možnosti neuronových sítí, Vapnikova-Červoněnkova dimense neuronových sítí, teorie učení a neuronové sítě, numerické aspekty algoritmů učení, aplikace teorie pravděpodobnosti v neuronových sítích, vztah fuzzy množin k neuronovým sítím.
Osnova cvičení:
Cíle:Znalosti:
Seznámit studenty s teoretickými a matematickými základy důležitých typů umělých neuronových sítí.

Schopnosti:
Orientovat se v přednášené problematice a umět ji použít v dalších disciplinách.
Požadavky:
Rozsah práce:
Kličová slova:Architektura neuronové sítě, učení neuronových sítí, důležité druhy neuronových sítí, numerické vlastnosti učících
algoritmů, univerzální aproximační schopnost neuronových sítí, pravděpodobnostní přístup k neuronovým sítím.
Literatura:Povinná literatura:
[1] F. Hakl, M. Holeňa. Úvod do teorie neuronových sítí. Ediční středisko ČVUT, Praha, 1997.
[2] M. Holeňa. Statistické aspekty dobývání znalostí z dat. Učební texty Univerzity Karlovy. Praha, nakladatelsví
Karolinum, 2006.

Doporučená literatura:
[3] H.White. Artificial Neural Networks: Approximation and Learning Theory. Blackwell Publishers, Cambridge, 1992.
[4] Jiří Šíma, Roman Neruda. Teoretické otázky neuronovýh sítí}. MATFYZPRESS, MFF UK Praha, 1996.
[5] Miroslav Šnorek and Marcel Jiřina. Neuronové sítě a neuropočítače, ČVUT, 1996.
[6] Vwani Roychowdhury, Kai-Yeung Siu, Alon Orlitsky. Theoretical Advances in Neural Computation and Learning. Kluwer
Academic Publishers, 1994.

Objevování zajímavých znalostí v datech pomocí evolučních algoritmů

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, II_SIMI, II_TS, II_PRAK
klíčová slova: evoluční algoritmy, data mining, získávání pravidel z dat
odkaz: http://www.cs.cas.cz/~martin/diplomka24.html
popis: K nejrychleji se rozvíjejícím informačním technologiím patří od první poloviny 90. let dobývání znalostí z dat (data mining). Pod tímto názvem se skrývají metody, které z nepřehledné spousty primárních dat, s níž se dnes člověk musí prakticky ve všech oblastech potýkat, umožňují extrahovat přehledné množiny strukturovaných znalostí, v těchto datech latentně obsažených. Jedním z nejpoužívanějších způsobů strukturovaného vyjádření znalostí obsažených v datech jsou specifické typy logických tvrzení, tzv. pravidla. Dnes již existuje několik desítek metod pro extrakci pravidel z dat, pomocí nichž lze často získat velmi rozsáhlé soubory velmi rozmanitých pravidel. Tím se ztrácí původní účel dobývání znalostí z dat – nahradit velké množství dat malým množstvím důležitých znalostí. Z pravidel, která lze v datech nalézt, je proto nutné vybírat pouze ta, která jsou nejzajímavější nebo z nějakého jiného hlediska nejdůležitější. To vede na úlohu optimalizace na množině pravidel, tedy na diskrétní množině která neleží v žádném běžném metrickém prostoru. K nejmodernějším metodám, které se pro optimalizaci na takových množinách používají, patří evoluční algoritmy, zejména jeden jejich typ - genetické algoritmy. Jejich charakteristickým rysem je, že způsob, kterým se metoda přibližuje k hledanému optimu, je inspirován přirozeným výběrem ve vývoji biologických druhů, v případě genetických algoritmů potom speciálně mutacemi a křížením chromozomů. Právě využití genetických algoritmů k optimalizaci získávání pravidel z dat by mělo být náplní navržené diplomové práce. Student se nejdříve důkladně seznámí s principy evolučních algoritmů a zejména s jejich použitím při dobývání znalostí z dat. Současně si udělá celkový přehled o metodách získávání pravidel z dat a detailně se seznámí s některým ze systémů pro získávání znalostí z dat používaných při výuce dobývání znalostí z dat na českých vysokých školách (např. LISP-Miner, Ferda). V kontextu tohoto systému navrhne metodu optimalizace získávání pravidel z dat s využitím genetických algoritmů. Metodu implementuje pomocí systému Matlab a jeho Genetic Algorithm and Direct Search Toolbox.
literatura: viz http://www.cs.cas.cz/~martin/diplomka24.html
poznámka: šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 12.10.2011 09:10:25

Využití umělých neuronových sítí k urychlení evolučních algoritmů

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, II_SIMI, II_TS, II_PRAK
klíčová slova: optimalizace, vícevrstvé perceptrony, RBF sítě, evoluční algoritmy, empirické optimalizované funkce
odkaz: http://www.cs.cas.cz/~martin/diplomka28.html
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších informací v dostupných datech či další typy optimalizačních úloh, při nichž lze hodnoty optimalizované funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. K nejslibnějším regresním modelům patří některé typy umělých neuronových sítí, které mají tzv. univerzální aproximační schopnost, zejména vícevrstvé perceptrony a RBF sítě. Výzkum využitelnosti takových typů umělých neuronových sítí k urychlení evoluční optimalizace empirických funkcí je však teprve na samém počátku. Příspěvkem k němu by měla být i navržená diplomová práce. Student se nejdříve seznámí s principy optimalizace pomocí evolučních algoritmů a se základy umělých neuronových sítí. Bude přitom věnovat pozornost i urychlení evoluční optimalizace empirických funkcí pomocí regresního modelu optimalizované funkce. S využitím prostudované literatury analyzuje možnosti použití některých typů umělých neuronových sítí pro konstrukci takových regresních modelů. Několik nejslibnějších z nich rozpracuje až do implementovatelné podoby a zahrne je do prototypové implementace. Na závěr porovná implementovaná řešení na několika testovacích funkcích pro evoluční algoritmy, jakož i na alespoň jedné databázi hodnot empirické optimalizované funkce z reálné aplikace, kterou dostane od vedoucího práce.
literatura: viz http://www.cs.cas.cz/~martin/diplomka28.html
poznámka: Šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 12.10.2011 09:12:01

Využití jádrových funkcí k urychlení evolučních algoritmů

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, II_SIMI, II_TS, II_PRAK
klíčová slova: optimalizace, regrese pomocí opěrných vektorů, jádrové funkce, evoluční algoritmy, empirické optimalizované funkce
odkaz: http://www.cs.cas.cz/~martin/diplomka32.html
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších informací v dostupných datech či další typy optimalizačních úloh, při nichž lze hodnoty optimalizované funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty cílové funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. K nejslibnějším regresním modelům patří modely používané při tzv. regresi pomocí opěrných vektorů (support vector regression). Jsou založeny na funkcích vyskytujících se v jádrech operátorů a označovaných proto jako jádrové funkce. Výzkum využitelnosti jádrových funkcí k urychlení evoluční optimalizace empirických funkcí je však teprve na samém počátku. Příspěvkem k němu by měla být i navržená diplomová práce. Student se nejdříve seznámí s principy optimalizace pomocí evolučních algoritmů a se základy regrese pomocí opěrných vektorů. Bude přitom věnovat pozornost i urychlení evoluční optimalizace empirických funkcí pomocí regresního modelu optimalizované funkce. S využitím prostudované literatury analyzuje možnosti použití některých typů jádrových funkcí pro konstrukci takových regresních modelů. Několik nejslibnějších z nich rozpracuje až do implementovatelné podoby a zahrne je do prototypové implementace. Na závěr porovná implementovaná řešení na několika testovacích funkcích pro evoluční algoritmy, jakož i na alespoň jedné databázi hodnot empirické optimalizované funkce z reálné aplikace, kterou dostane od vedoucího práce.
literatura: viz http://www.cs.cas.cz/~martin/diplomka32
poznámka: Šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 12.10.2011 09:13:03

Vizualizace dat pro klasifikační a regresní stromy

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, II_SIMI, II_TS, II_PRAK
klíčová slova: vizualizace dat, vizualizace mnohodimenzionálních prostorů, klasifikační stromy, regresní stromy, stromové mapy
odkaz: http://www.cs.cas.cz/~martin/diplomka34.html
popis: Jedním z důsledků růstu výkonnosti počítačů i kvality jejich periferií je neustálý růst významu vizualizace při analýze dat. Vizualizace umožňuje zprostředkovat větší množství informací současně, a to intuitivním způsobem nevyžadujícím porozumění abstraktním konceptům. Jednou z prvních metod analýzy dat, ve které vizulazace hrála velmi významnou roli, byly klasifikační a regresní stromy. V jejich případě dala právě možnost vizualizace výsledků analýzy pomocí grafů stromového typu metodě jméno. Metody vizualizace používané pro klasifikační a regresní stromy však do značné míry obrážejí úroveň oblasti vizualizace na přelomu 80. a 90. let. S přístupy k vizualizaci, které se začaly používat teprve později, se v případě klasifikačních a regresních stromů v podstatě nesetkáme. Ke změně tohoto stavu by mohla přispět i navržená diplomová práce. Student se nejdříve seznámí s metodami vizualizace dat, zejména s moderními metodami vizualizace mnohorozměrných dat. Současně se také seznámí s klasifikačními a regresními stromy a s metodami jejich vizualizace. Na základě studia obou těchto oblastí navrhne, jak by bylo možné současné metody vizulizace klasifikačních a regresních stromů zdokonalit s využitím novějších vizualizačních přístupů. Navržené metody rozpracuje do podoby implementovatelných algoritmů, implementuje je ve vývojovém prostředí Matlab a otestuje na souborech reálných dat poskytnutých vedoucím práce.
literatura: viz http://www.cs.cas.cz/~martin/diplomka34.html
poznámka: Šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 12.10.2011 09:13:47

Urychlení evolučních algoritmů pomocí neparametrické regrese

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, II_SIMI, II_TS, II_PRAK
klíčová slova: optimalizace, evoluční algoritmy, empirické funkce, regresní modely, neparametrická regrese
odkaz: http://www.cs.cas.cz/~martin/diplomka39.html
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímavějších znalostí v dostupných datech, či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy používají pouze funkční hodnoty cílové funkce, blíží s k jejímu optimu mnohem pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu cílové funkce, případně i o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nevýhodná v kontextu nákladného a časově náročného empirického způsobu získávání hodnot cílové funkce. Evoluční algoritmy však lze podstatně urychlit, jestliže při vyhodnocování funkčních hodnot cílové funkce používají empirickou cílovou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model této funkce. Většina regresních modelů je vybírána z rodin funkcí parametrizovaných konečným počtem předem daných parametrů, např. lineární regrese, polynomiální regrese, regrese založená na jádrových funkcích nebo na některých typech umělých neuronových sítí. Díky růstu výkonnosti počítačů však v posledních dvou desetiletích získaly značný význam i modely neparametrické. Ty jsou výpočetně náročnější, ale také flexibilnější a díky tomu univerzálnější. Jejich nejtradičnějším často používaným zástupcem jsou zobecněné aditivní modely. Výzkum využitelnosti neparametrických regresních modelů k urychlení evoluční optimalizace empirických funkcí je však teprve na samém počátku. Přispět by k němu měla i navržená diplomová práce. Student se nejdříve důkladně seznámí s neparametrickými regresními modely a také s principy optimalizace pomocí evolučních algoritmů. Bude přitom věnovat pozornost i urychlení evoluční optimalizace empirických funkcí pomocí regresního modelu optimalizované funkce. S využitím prostudované literatury analyzuje možnosti použití některých typů neparametrických regresních modelů k tomuto účelu. Několik nejslibnějších z nich rozpracuje až do implementovatelné podoby a zahrne je do prototypové implementace. Na závěr porovná implementovaná řešení na několika testovacích funkcích pro evoluční algoritmy, jakož i na alespoň jedné databázi hodnot empirické optimalizované funkce z reálné aplikace, kterou dostane od vedoucího práce.
literatura: viz http://www.cs.cas.cz/~martin/diplomka39.html
poznámka: Šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 08.07.2012 22:54:30

Urychlení evolučních algoritmů pomocí gaussovských procesů

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, II_SIMI, II_TS, II_PRAK
klíčová slova: optimalizace, evoluční algoritmy, empirické optimalizované funkce, regresní modely, gaussovské procesy
odkaz: http://www.cs.cas.cz/~martin/diplomka42.html
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších informací v dostupných datech či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. K nejslibnějším regresním modelům patří modely založené na gaussovských procesech. Není proto divu, že právě ony patřily k prvním, které se pro urychlení evoluční optimalizace začaly používat. Přesto je výzkum urychlování evolučních algoritmů pomocí gaussovských procesů teprve v začátcích. Příspěvkem k němu by měla být i navržená diplomová práce. Student se nejdříve důkladně seznámí s gaussovskými procesy a také s principy optimalizace pomocí evolučních algoritmů. Bude přitom věnovat pozornost i urychlení evoluční optimalizace empirických funkcí pomocí regresního modelu optimalizované funkce. Dosud publikované přístupy k urychlení evolučních algoritmů pomocí gaussovských procesů implementuje ve vývojovém prostředí Matlab. Na základě prostudované literatury i testování implementovaných přístupů navrhne jejich možná zdokonalení či modifikace. Některé z nich také implementuje a porovná je s původními přístupy na několika testovacích funkcích pro evoluční algoritmy, jakož i na alespoň jedné databázi hodnot empirické optimalizované funkce z reálné aplikace, kterou dostane od vedoucího práce.
literatura: viz http://www.cs.cas.cz/~martin/diplomka42.html
poznámka: Šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 12.10.2011 09:15:47

Použití evolučních algoritmů na data získávaná metodami návrhu experimentů

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, II_SIMI, II_TS, II_PRAK
klíčová slova: optimalizace, evoluční algoritmy, genetické algoritmy, návrh experimentů, inicializace algoritmu
odkaz: http://www.cs.cas.cz/~martin/diplomka23.html
popis: K nejmodernějším metodám globální optimalizace patří evoluční algoritmy, zejména jeden jejich typ - genetické algoritmy. Jejich charakteristickým rysem je, že způsob, kterým se metoda přibližuje k hledanému optimu, je inspirován přirozeným výběrem ve vývoji biologických druhů, v případě genetických algoritmů potom speciálně mutacemi a křížením chromozomů. Vzhledem k této biologické inspiraci je princip evolučních algoritmů snadno srozumitelný i nematematikům, a právě díky tomu se v průběhu posledních let velmi rychle rozšířilo jejich používání při řešení optimalizačních úloh v nejrůznějších oborech. Z matematického hlediska jsou však evoluční algoritmy pouze dalšími zástupci stochastických optimalizačních algoritmů a vyžadují řešení podobných problémů jako další stochastické optimalizační algoritmy. Jedním z klíčových problémů je volba počátečního bodu posloupnosti, která by měla konvergovat k hledanému optimu. Protože evoluční algoritmy v každé iteraci (označované v jejich případě jako generace) hledají celou množinu bodů (tzv. populaci), je nutné i v první generaci zvolit mezi přípustnými řešeními uvažované optimalizační úlohy celou množinu počátečních bodů. Volbou optimálních podmnožin přípustných množin bodů se v jiném kontextu již po desetiletí zabývá teorie návrhu experimentů. A právě využití metod návrhu experimentů při inicializaci evolučních algoritmů by mělo být náplní navržené práce. Student se nejdříve důkladně seznámí s principy evolučních algoritmů i s hlavními metodami návrhu experimentů. Poté se seznámí s implementací genetických algoritmů v Genetic Algorithm and Direct Search Toolbox systému Matlab a přitom si rozváží, jak snadé by bylo do něj začlenit různé metody návrhu experimentů. S přihlédnutím k důležitosti jednotlivých metod i k náročnosti jejich začlenění do Genetic Algorithm and Direct Search Toolbox systému Matlab vybere 4–5 z nich, které rozpracuje do podoby implementovatelných algoritmů a naprogramuje jako matlabovské funkce použitelné pro při inicializaci genetických algoritmů.
literatura: viz http://www.cs.cas.cz/~martin/diplomka23.html
poznámka: Šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 12.10.2011 09:08:33

Evoluční algoritmy a aktivní učení

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, II_SIMI, II_TS, II_PRAK
klíčová slova: optimalizace, evoluční algoritmy, empirické optimalizované funkce, regresní modely, aktivní učení
odkaz: http://www.cs.cas.cz/~martin/diplomka44.html
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších informací v dostupných datech či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. Právě přesnost modelu určuje, jak úspěšnou náhražkou původní empirické funkce bude. Proto se po získání každé nové generace bodů, v nichž byla empirická funkce vyhodnocena, model zpřesňuje opakovaným učením zahrnujícím tyto body. Lze však jít ještě dále a již při volbě bodů pro empirické vyhodnocení brát kromě hodnoty empirické funkce také v úvahu, jak při opakovaném učení modelu přispějí k jeho zpřesnění. Takový přístup se označuje jako aktivní učení. Používání aktivního učení k urychlení evolučních algoritmů je však teprve v úplných začátcích a měla by ho podpořit i navržená diplomová práce. Student se nejdříve seznámí s principy optimalizace pomocí evolučních algoritmů i s principy urychlení evoluční optimalizace empirických funkcí pomocí regresních modelu. Poté se důkladně seznámí s aktivním učením, zejména s aktivním učením regresních modelů. Některé metody aktivního učení regresních modelů implementuje pro některé regresní modely používané k urychlení evoluční optimalizace empirických funkcí a v tomto kontextu také otestuje. Na základě prostudované literatury i výsledků testování navrhne jednu až dvě modifikace existujících metod, které opět implementuje a otestuje.
literatura: viz http://www.cs.cas.cz/~martin/diplomka45.html
poznámka: Šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 08.07.2012 22:43:13

Modelování sociálních sítí

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, II_SIMI, II_TS, II_PRAK
klíčová slova: sociální sítě, náhodné efekty, markovské grafy, logistická regrese, entropie
odkaz: http://www.cs.cas.cz/~martin/diplomka46.html
popis: Probíhá-li komunikace v sociálních sítích prostřednictvím internetu, jako např. v případě známých sítí Facebook a LinkedIn, je o nich k dispozici ohromné množství dat. Náročnější analýza těchto dat se však neobejde bez nějakého abstraktního modelu sociální sítě. Těch již byla navržena celá řada, nejznámější jsou založené na náhodných efektech, markovských grafech, logistické regresi a entropii. Rozvoj a ověřování těchto modelů je velmi aktivní oblastí výzkumu. Drobným příspěvkem k takovému výzkumu by měla být i navržená diplomová práce. Student se nejdříve seznámí s hlavními typy modelů sociálních sítí. Tyto modely poté implementuje ve vývojovém prostředí Matlab a otestuje na alespoň jednom veřejně dostupném souboru dat ze sociálních sítí využívající služeb internetu. Z teoretického studia modelů i z výsledků testování vyvodí závěry o přednostech a nedostatcích jednotlivých z nich, případně navrhne vhodnou modifikaci některého nebo některých z nich.
literatura: viz http://www.cs.cas.cz/~martin/diplomka46
poznámka: Šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 12.10.2011 23:06:27

Urychlení evolučních algoritmů pomocí náhodných lesů

školitel: Martin Holeňa
e-mail: zobrazit e-mail
typ práce:
zaměření: MI_MM, MI_AMSM, II_SIMI, II_TS, II_PRAK
klíčová slova: optimalizace, evoluční algoritmy, regresní modely, rozhodovací stromy, náhodné lesy
odkaz: http://www.cs.cas.cz/~martin/diplomka49.htm
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších znalostí v dostupných datech, či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy používají pouze funkční hodnoty cílové funkce, blíží s k jejímu optimu mnohem pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu cílové funkce, případně i o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nevýhodná v kontextu nákladného a časově náročného empirického způsobu získávání hodnot cílové funkce. Evoluční algoritmy však lze podstatně urychlit, jestliže při vyhodnocování funkčních hodnot cílové funkce používají empirickou cílovou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model této funkce. Jednoduchý, ale často používaný typ regresních modelů je specfický typ rozhodovacích stromů, tzv. regresní stromy. Od počátku minulého desetiletí se věnuje pozornost také vytváření kombinací rozhodovacích stromů, tzv. náhodných lesů. Výzkum využitelnosti náhodných lesů k urychlení evoluční optimalizace empirických funkcí je však teprve na samém počátku. Příspět by k němu měla i navrhovaná práce. Student se nejdříve důkladně seznámí s regresními stromy a náhodnými lesy a také s principy optimalizace pomocí evolučních algoritmů. Bude přitom věnovat pozornost i urychlení evoluční optimalizace empirických funkcí pomocí regresního modelu cílové funkce. S využitím prostudované literatury navrhne algoritmy využití náhodných lesů k tomuto účelu. Algoritmy dovede až do podoby prototypové implementace ve vývojovém prostředí Matlab. Urychlení evoluční optimalizace otestuje na několika testovacích funkcích pro evoluční algoritmy, jakož i na alespoň jedné databázi hodnot empirické cílové funkce z reálné aplikace, kterou dostane od vedoucího práce.
literatura: viz http://www.cs.cas.cz/~martin/diplomka49.htm
poznámka: Šikovný student, který výborně zvládne tuto diplomovou práci, bude mít v případě zájmu možnost navázat na ni příbuzným tématem v doktorandském studiu
naposledy změněno: 11.12.2012 12:05:40

Využití aktivního učení v optimalizaci

školitel: doc. Ing. RNDr. Martin Holeňa, CSc.
e-mail: zobrazit e-mail
typ práce: dizertační práce
zaměření: MI_MM, MI_AMSM, II_SIMI
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímvějších informací v dostupných datech či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy pracují pouze s funkčními hodnotami optimalizované funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty optimalizované funkce používají empirickou optimalizovanou funkci jen občas, zatímco většinou vyhodnocují pouze její dostatečně přesný regresní model. Právě přesnost modelu určuje, jak úspěšnou náhražkou původní empirické funkce bude. Proto se po získání každé nové generace bodů, v nichž byla empirická funkce vyhodnocena, model zpřesňuje opakovaným učením zahrnujícím tyto body. Lze však jít ještě dále a již při volbě bodů pro empirické vyhodnocení brát kromě hodnoty empirické funkce také v úvahu, jak při opakovaném učení modelu přispějí k jeho zpřesnění. Takový přístup se označuje jako aktivní učení. Používání aktivního učení k urychlení evolučních algoritmů je však teprve v úplných začátcích a měla by ho podpořit i navržená práce.
literatura: Evolutionary algorithms are, in the last 20 years, one of the most successful methods for solving non-traditional optimization problems, such as search for the most suitable documents containing required information, discovery of the most interesting knowledge in available data, or other kinds of optimization tasks in which the values of the objective function can be obtained only empirically. Because evolutionary algorithms employ only function values of the objective function, they approach its optimum much more slowly than optimization methods for smooth functions, which make use of information about the objective function gradients as well, possibly also about its second derivatives. This property of evolutionary algorithms is particularly disadvantageous in the context of costly and time-consuming empirical way of obtaining values of the objective function. However, evolutionary algorithms can be substantially speeded up if they employ the empirical objective function only sometimes when evaluating objective function values, whereas they mostly evaluate only a sufficiently accurate regression model of that function. It is the accuracy of the model that determines how successful surrogate of the original empirical function it will be. Therefore, the model is made more accurate after obtaining each new generation of points in which the empirical function has been evaluated, through re-learning including those points. However, it is possible to go even further and to consider, when choosing points for empirical evaluation, besides the value of the empirical function also how they contribute, during model re-learning, to making it more accurate. Such an approach is termed active learning. However, using active learning to accelerate evolutionary algorithms is only at a very beginning, and should be supported also by the proposed thesis.
naposledy změněno: 13.04.2013 18:31:35

Objevování zajímavých znalostí v datech pomocí evolučních algoritmů

školitel: doc. Ing. RNDr. Martin Holeňa, CSc.
e-mail: zobrazit e-mail
typ práce: dizertační práce
zaměření: MI_MM, MI_AMSM, II_SIMI
popis: K nejrychleji se rozvíjejícím informačním technologiím patří od první poloviny 90. let dobývání znalostí z dat (data mining). Pod tímto názvem se skrývají metody, které z nepřehledné spousty primárních dat, s níž se dnes člověk musí prakticky ve všech oblastech potýkat, umožňují extrahovat přehledné množiny strukturovaných znalostí, v těchto datech latentně obsažených. Jedním z nejpoužívanějších způsobů strukturovaného vyjádření znalostí obsažených v datech jsou specifické typy logických tvrzení, tzv. pravidla. Dnes již existuje několik desítek metod pro extrakci pravidel z dat, pomocí nichž lze často získat velmi rozsáhlé soubory velmi rozmanitých pravidel. Tím se ztrácí původní účel dobývání znalostí z dat – nahradit velké množství dat malým množstvím důležitých znalostí. Z pravidel, která lze v datech nalézt, je proto nutné vybírat pouze ta, která jsou nejzajímavější nebo z nějakého jiného hlediska nejdůležitější. To vede na úlohu optimalizace na množině pravidel, tedy na diskrétní množině která neleží v žádném běžném metrickém prostoru. K nejmodernějším metodám, které se pro optimalizaci na takových množinách používají, patří evoluční algoritmy, zejména jeden jejich typ - genetické algoritmy. Jejich charakteristickým rysem je, že způsob, kterým se metoda přibližuje k hledanému optimu, je inspirován přirozeným výběrem ve vývoji biologických druhů, v případě genetických algoritmů potom speciálně mutacemi a křížením chromozomů. Právě využití genetických algoritmů k optimalizaci získávání pravidel z dat by mělo být náplní navržené práce.
literatura: Since the early 1990s, data mining belongs to the most quickly developing information technologies. This term covers methods that allow to extract, from unsurveyable amounts of primary data that one has to tackle in nearly all areas, surveyable sets of structured knowledge latently contained in those data. One of the most frequently used ways of a structured representation of knowledge contained in data are specific kinds of logical sentences, called rules. Nowadays, already several dozens of methods for rules extraction from data exist, by means of which very vast sets of very different rules can frequently be obtained. In this way, the original objective of data mining gets lost: to replace a large amount of data with a small amount of important knowledge. Therefore, it is necessary to choose only those from among the rules that can be found in the data that are the most interesting, or from some other point of view the most important. That leads to an optimization task on the set of rules, thus on a discrete set not lying in any common metric space. The most modern methods used for optimization on such sets include evolutionary algorithms, especially one kind of them genetic algorithms. A characteristic feature of evolutionary algorithms is that the way in which the method approaches the sought optimum has been inspired by the natural selection in the evolution of biological species, in the case of genetic algorithms then in particular by mutations and recombinations of chromosomes. It is the use of genetic algorithms for the opimization of obtaining rules from data that should be the topic of the proposed thesis.
naposledy změněno: 13.04.2013 18:29:47

Urychlení evoluční optimalizace pomocí neparametrické regrese

školitel: doc. Ing. RNDr. Martin Holeňa, CSc.
e-mail: zobrazit e-mail
typ práce: dizertační práce
zaměření: MI_MM, MI_AMSM, II_SIMI
popis: Evoluční algoritmy jsou v posledních 20 letech jednou z nejúspěšnějších metod pro řešení netradičních optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů obsahujících požadované informace, objevování nejzajímavějších znalostí v dostupných datech, či další typy optimalizačních úloh, při nichž lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy používají pouze funkční hodnoty cílové funkce, blíží s k jejímu optimu mnohem pomaleji než optimalizační metody pro hladké funkce, které využívají rovněž informace o gradientu cílové funkce, případně i o jejích druhých derivacích. Tato vlastnost evolučních algoritmů je zvláště nevýhodná v kontextu nákladného a časově náročného empirického způsobu získávání hodnot cílové funkce. Evoluční algoritmy však lze podstatně urychlit, jestliže při vyhodnocování funkčních hodnot cílové funkce používají empirickou cílovou funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní model této funkce. Většina regresních modelů je vybírána z rodin funkcí parametrizovaných konečným počtem předem daných parametrů, např. lineární regrese, polynomiální regrese, regrese založená na jádrových funkcích nebo na některých typech umělých neuronových sítí. Díky růstu výkonnosti počítačů však v posledních dvou desetiletích získaly značný význam i modely neparametrické. Ty jsou výpočetně náročnější, ale také flexibilnější a díky tomu univerzálnější. Jejich nejtradičnějším často používaným zástupcem jsou zobecněné aditivní modely. Výzkum využitelnosti neparametrických regresních modelů k urychlení evoluční optimalizace empirických funkcí je však teprve na samém počátku. Přispět by k němu měla i navržená práce.
literatura: Evolutionary algorithms are, in the last 20 years, one of the most successful methods for solving non-traditional optimization problems, such as search for the most suitable documents containing required information, discovery of the most interesting knowledge in available data, or other kinds of optimization tasks in which the values of the objective function can be obtained only empirically. Because evolutionary algorithms employ only function values of the objective function, they approach its optimum much more slowly than optimization methods for smooth functions, which make use of information about the objective function gradients as well, possibly also about its second derivatives. This property of evolutionary algorithms is particularly disadvantageous in the context of costly and timeconsuming empirical way of obtaining values of the objective function. However, evolutionary algorithms can be substantially speeded up if they employ the empirical objective function only sometimes when evaluating objective function values, whereas they mostly evaluate only a sufficiently accurate regression model of that function. Most of the regression models are selected from families of functions parametrized with a finite number of parameters given in advance, e.g., linear regression, polynomial regression, regression based on kernel functions or on some kinds of neural networks. Due to increasing power of computers, however, also non-parametric models have been gaining importance during the last two decades. They are computationally more demanding, but also more flexible, and therefore more universal. Their most traditional frequently employed representative are generalized additive models. Investigation into utilizability of non-parametric regression models for speeding up evolutionary optimization of empirical functions is, however, only at its very beginning. It should be contributed also by the proposed thesis.
naposledy změněno: 13.04.2013 18:28:05

za obsah této stránky zodpovídá: Radek Fučík | naposledy změněno: 7.8.2011
Trojanova 13, 120 00 Praha 2, tel. 224 358 540, pevná linka 224 923 098, fax 234 358 643
České vysoké učení technické v Praze | Fakulta jaderná a fyzikálně inženýrská | Katedra matematiky