doc. Ing. Václav Šmídl, Ph.D. (external collaborator)
| e-mail: | show e-mail |
| www: | http://staff.utia.cz/smidl/ |
| institution: | ÚTIA AV ČR, v.v.i. |
| address: | Pod vodárenskou věží 4 |
Odhad neparametrických hierarchických Bayesovských modelů
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | phd thesis |
| branch of study: | MI_AMSM |
| link: | http://www.utia.cas.cz/cs/people/smidl |
| description: | Neparametrické Bayesovské modely nacházejí často uplatnění na složité úlohy, kde neznáme parametrický model. Flexibilita neparametrických modelů jako jsou Gausovské procesy je velkou výhodou pro přesnější modelování regresních úloh nebo výpočtu integrálů (Bayesian quadrature). Kvalita výsledného algoritmu záleží na odhadu hyparparemetrů použitého modelu (např. parametrů kovarianční funkce Gausovského procesu). Standardní metody odhadu pomocí maximální věrohodnosti fungují na jednoduché modely, avšak selhávají pro složitější úlohy např. s heteroskedactickým šumem. Cílem práce je nalézt metody odhadu hyperparametrů stochastických procesů, které umožňují odhad složitějších hierarchických modelů. Tato modely budou vyvíjeny pro potřeby Bayesovské optimalizace a Bayesovské integrace. Aplikace očekáváme především v oblasti optimalizace a kalibrace složitých počítačových modelů, například simulace složitých strojů a inverzní modelování atmosférických disperzních modelů. |
| last update: | 19.05.2017 15:03:09 |
Distribuované algoritmy stochastické optimalizace na velkých datech
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | phd thesis |
| branch of study: | MI_AMSM |
| link: | http://www.utia.cas.cz/cs/people/smidl |
| description: | Hledání parametrů statistických modelů na velkých datech je dnes standardně řešeno metodoou stochastické optimalizace, například stochastic gradient descent. Konvergence těchto metod ke správnému řešení je ovlivněna celou řadou faktorů a ladicích parametrů. Cílem práce je zlepšení stávajících metod ať již z hlediska výpočetní náročnosti tak z hlediska regularizace a robustnosti. Hlavní aplikační oblastí vyvíjených metod je bezpečnost síťového provozu. Algoritmy hledání parametrů budou použity například na klasifikaci průniku škodlivého kódu do počítačové sítě. Součástí práce je vývoj statistických modelů (například klasifikátorů) pro danou aplikační oblast. Vzhledem o obrovskému objemu zpracovávaných dat však předpokládáme yýzkum především jednoduchých modelů a jejich modifikace na použití na velká data.
Školitelem specialistou bude Ing. Tomáš Pevný, Ph.D., FEL ČVUT |
| last update: | 19.05.2017 15:04:52 |
Uncertainty representation in tree structured data
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | phd thesis |
| branch of study: | MI_MM, MI_AMSM |
| key words: | uncertainty representation, ensemble methods, Monte Carlo, |
| description: | Classical methods of machine learning assume that data are available in the form of a vector of a known dimension. However, this is rarely the case in practice where data are available in structured forms such as incomplete database entries or json files. Mapping of such data into the assumed vector structure (i.e. feature extraction) is typically done by a human, which is a laborious task that is susceptible to errors. Recent methods aim to avoid this step by directly training models on the full data space using the paradigm of deep sets. Discriminative learning is nowadays a common task, however, the uncertainty of trained models is not well known. The aim of the thesis is to propose a method for uncertainty representation of these models. The proposed models will be continually validated on real data from network security domain. |
| references: | [1] Zaheer, M., Kottur, S., Ravanbakhsh, S., Poczos, B., Salakhutdinov, R. R., & Smola, A. J. (2017). Deep sets. In Advances in neural information processing systems (pp. 3391-3401). [2] Bishop, C. M. (2006). Pattern recognition and machine learning. springer. [3] Pevný, T., & Somol, P. (2017, June). Using neural network formalism to solve multiple-instance problems. In International Symposium on Neural Networks (pp. 135-142). Springer, Cham. [4] Létal, V., Pevný, T., Šmidl, V., & Somol, P. (2015). Finding New Malicious Domains Using Variational Bayes on Large-Scale Computer Network Data. In NIPS Workshop: Advances in Approximate Bayesian Inference (pp. 1-10). [5] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT press. |
| last update: | 18.06.2020 10:02:36 |
Metody hlubokého učení pro inverzní úlohy na obrazových datech
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | phd thesis |
| branch of study: | MI_MM, MI_AMSM |
| key words: | hluboké učení, zpracování obrazu |
| description: | Mnoho úloh zpracování obrazu lze formulovat jako šptaně podmíněnou inverzní úlohu. Výsledky v oblasti klasických přístupů k regularizyaci úlohy získávají poslední dobou konkurenci z oblasti hlubokého strojového učení Současné metody zero-shot učení však trpí nestabilitou. Kvalita výsledku výrazně kolísá pro různé realizace šumu v náhodné inicializaci metody. Toto chování může být způsobeno volnou kritéria trénovaná, která téměř vždy odpovídá maximalizace aposteriorní pravděpodobnosti (MAP) řešení. Pro správnou funkci klasických metod založených na tomto principu je třeba zavést dodatečné regularizace a úpravy trénování. Obvyklé postupy však nefungují pro metody s hlobokými neuronovými sítěmi. Cílem práce je dosáhnout větší stability učení modelů hlubokých neuronových sítí pro vybrané problémy zpracování obrazu pomocí robustního kritéria trénování. Jako nejnadějnější kanditát se jeví metoda variační bayes, která hledá aproximaci celé aposteriorní distribuce. V tomto přístupu je možné odhadovat i konstanty, které se v MAP přístupu musí volit. Tato metoda však pro nelineární modely využívá stochastického odhadu momentů aproximující distribuce, čímž se optimalizace stává stochastickou. Tento nedostatek je možné kompenzovat použitím vhodných technik redukce variance. Alternativou k variačnímu přístupu je robustní trénování založené například na invariant risk minimization. Metody budou testovány na problémech slepé dekonvoluce, impaintingu, atp. Zvláštní pozornost bude věnována netradičním zdrojům dat, například dat z environmentální elektronové mikroskopie, madicínským obrazovým datům nebo magnetické mikrobotiky. Očekáváme, že v těchto oblastech bude možné nalézt specifické vlastnosti, které nám umožní formulovat dodatečné předpoklady. Zabudováním těchto předpokladů je možné vyvinout modifikace metod hlubokého učení lépe odpovídějící specifickým vlastnostem dat. |
| references: | [1] Goodfellow, I., Bengio, Y., Courville, A., & Bengio, Y. (2016). Deep learning (Vol. 1, No. 2). Cambridge: MIT press. [2] Ulyanov, D., Vedaldi, A., & Lempitsky, V. (2018). Deep image prior. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 9446-9454). [3] Khan, Mohammad, Didrik Nielsen, Voot Tangkaratt, Wu Lin, Yarin Gal, and Akash Srivastava. \"Fast and scalable bayesian deep learning by weight-perturbation in adam.\" In International Conference on Machine Learning, pp. 2611-2620. PMLR, 2018. [4] Kotera, J., Šmídl, V., & Šroubek, F. (2017). Blind deconvolution with model discrepancies. IEEE Transactions on Image Processing, 26(5), 2533-2544. |
| note: | Práce je součástí grantu GAČR GA20-27939S. |
| last update: | 01.02.2021 20:03:34 |
Učení matematického modelu z dat
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | bachelor thesis, master thesis |
| branch of study: | MI_MM, MI_AMSM |
| key words: | identifikace modelu, strojové učení, |
| description: | Matematické modely jednoduchých fyzikálních jevů jsou známé a dobře prozkoumané. Pro složitější jevy v nich však figuruje mnoho neznámých parametrů a často vedou k velmi složitým výpočtům. Je proto výhodné hledat pro tyto úlohy zjednodušené modely, které dobře reprezentují reálný problém. Běžně používané black-box modely jako neuronové sítě potřebují k naučení velké množství dat a často je obtížné porozumět jak modle funguje. Cílem práce je seznámit se s problémem učení matematických modelů z dat. Hlavním studovaným přístupem je učení řídké parametrizace bohatého modelu. Na jednoduché úkoly stačí například lineární modely, jako je LASSO, na složitější je potřeba použít obecnější postupy. Zvláštní pozornost budeme věnovat modelu neuronové aritmetiky, kde se matematický model učí jako vrstvená kombinace aritmetických operací. Výsledné metody budou testovány na datech z fyzikálních experimentů. |
| references: | 1. Brunton, Steven L., Joshua L. Proctor, and J. Nathan Kutz. \"Discovering governing equations from data by sparse identification of nonlinear dynamical systems.\" Proceedings of the national academy of sciences 113, no. 15 (2016): 3932-3937. 2. Heim, Niklas, Tomáš Pevný, and Václav Šmídl. \"Neural power units.\" arXiv preprint arXiv:2006.01681 (2020). 3. Udrescu, Silviu-Marian, and Max Tegmark. \"AI Feynman: A physics-inspired method for symbolic regression.\" Science Advances 6, no. 16 (2020). |
| last update: | 22.09.2021 12:41:01 |
Metody shlukování strukturovaných dat
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | bachelor thesis, master thesis |
| branch of study: | MI_MM, MI_AMSM |
| key words: | strojové učení, strukturovaná data, shlukování |
| description: | Shlukování je klasická statistická metoda používaná ve strojovém učení na datech, na kterých je definována vzdálenost (například Eukleidova vzdálenost vektorů). V praxi se ovšem setkáváme s daty, která mají složitější relační strukturu, např. obsah nákupního košíku v e-shopu. Definice vzdálenosti mezi takovými daty je mnohem složitější. Nabízí se využít metody statistického popisu dat, které se vzdálenosti učí. Pro zmíněná data je vhodným modelem bodový proces. Metody shlukování založené na těchto metodách jsou zatím velice jednoduché. Cílem práce je seznámit se s klasickými metodymi používanými na vektorových datech, vytvořit obdobné metody pro bodové procesy a aplikovat je na dodaná reálná data. |
| references: | 1. Bishop, Christopher M. Pattern recognition and machine learning. Vol. 4. No. 4. New York: springer, 2006. 2. Vo, B. N., Dam, N., Phung, D., Tran, Q. N., & Vo, B. T. (2018). Model-based learning for point pattern data. Pattern Recognition, 84, 136-151. 3. Šmídl, V., & Quinn, A. (2006). The variational Bayes method in signal processing. Springer Science & Business Media. |
| note: | Práce je součástí řešení gratového projektu. |
| last update: | 16.06.2022 16:18:33 |
Neuronové sítě pro analýzu stavu plasmatu v Tokamaku
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | bachelor thesis, master thesis |
| branch of study: | MI_MM, MI_AMSM |
| key words: | strojové učení, neuronové sítě, model plasmatu |
| description: | Modelování stavu plasmatu v Tokamaku je náročné díky velkému množství fyzikálních dějů a neúplnému měření. Simulační nástroje vyžadují velké množství času na výpočet. Cílem práce je ověřit možnosti využití neuronových sítí jako univerzálního aproximátoru. Klasické neuronové sítě byly aplikovány již na několik problémů v oblasti diagnostiky plasmatu, použití nových architektur, např. transformerů je stále neprověřené. Práce se bude zabývat aplikací nejnovějších metod na problém detekce stavu udržení plasmatu (H-mode, L-mode, ELM). Datová sada je připravena a jsou k dispozici i implementace předchozích architektur neuronových sítí. |
| references: | Matěj Zorek, Vít Škvára, Václav Šmídl, Tomáš Pevný, Jakub Seidl, Ondřej Grover. Semi-supervised Deep networks for plasma state identification. Plasma Physics and Controlled Fusion. 2022 F Matos, V Menkovski, F Felici, A Pau, F Jenko, TCV Team, EUROfusion MST1 Team,et al. Classification of tokamak plasma confinement states with convolutional recurrent neural networks. Nuclear Fusion, 60(3):036022, 2020. Zerveas G, Jayaraman S, Patel D, Bhamidipaty A, Eickhoff C. A transformer-based framework for multivariate time series representation learning. InProceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining 2021 Aug 14 (pp. 2114-2124). |
| note: | Práce probíhá ve spolupráci s ústavem fyziky plasmatu AV ČR. |
| last update: | 06.09.2022 22:50:48 |
Physics-informed neural networks
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | bachelor thesis, master thesis |
| branch of study: | MI_MM, MI_AMSM |
| key words: | neuronove site; diferencialni rovnice |
| description: | Physics-informed neural network (PINN) jsou aplikací neuronových sítí na problém řešení diferenciálních a parciálních diferenciálních rovnic. V principu jednoduchá technika, zalozená na náhodné mřižce a minimalizaci chyby splnění diferenciální rovnice v těchto bodech pro neuronovou síť. Od svého přestavení před několika lety se tato technika vyvinula do bohaté formy metod podporujících práci s neurčitostí, aktivní volbu uzlových bodů, a mnoho dalších rozšíření. Díky plné derivovatelnosti tyto sítě dovolují i optimalizaci zadání úlohy. Cílem práce je seznámit se s metodou PINN na jendoduchých problémech a jejími rozšířeními. Dále vybrat rozšíření na složitější úlohu, naprříklad zakomponování neurčitosti nebo optimalizaci zadání a vyzkoušet toto rozšíření na vhodně zvoleném problému. |
| references: | Raissi, M., Perdikaris, P. and Karniadakis, G.E., 2019. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational physics, 378, pp.686-707. Yang, L., Meng, X. and Karniadakis, G.E., 2021. B-PINNs: Bayesian physics-informed neural networks for forward and inverse PDE problems with noisy data. Journal of Computational Physics, 425, p.109913. Lu, L., Pestourie, R., Yao, W., Wang, Z., Verdugo, F. and Johnson, S.G., 2021. Physics-informed neural networks with hard constraints for inverse design. SIAM Journal on Scientific Computing, 43(6), pp.B1105-B1132. |
| last update: | 19.09.2022 22:20:29 |
Metody odhadu řídké parametrizace neuronových sítí
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | bachelor thesis, master thesis |
| branch of study: | MI_MM, MI_AMSM |
| key words: | neuronove site; statisticke metody; |
| description: | Typické architektury neuronových sítí přepokládají, že matice vah obsahují libovolné hodnoty. To vede na velmi komplexní sítě, které často takzvané přetrénovánají. Experimentálně bylo ukázáno, že použitím řídkých váhových matic dojde ke zlepšení vlastností sítě. Nalezením řídkých parametrizací se zabývajá olast Bayesovské statistiky s tzv. shrinkage priors, tj. apriorními rozloženími preferujícícmi nulové hodnoty. Cílem práce je použití těchto metod na odhad parametrů neuronových sítí. V první fázi půjde o ověření existujících metod typu dropout a jeho variant. V další fázi pak úpravu metod a hledání vylepšení zvolené metody. |
| references: | E. Nalisnick, J. M. Hernández-Lobato, P. Smyth, Dropout as a Structured Shrinkage Prior. In `International Conference on Machine Learning\', PMLR, 2019, 4712-4722. C. Louizos, K. Ullrich, M. Welling, Bayesian Compression for Deep Learning. In `Advances in Neural Information Processing Systems\', 2017, 3288-3298. K. Mohammad, D. Nielsen, V. Tangkaratt, W. Lin, Y. Gal, A. Srivastava, Fast and Scalable Bayesian Deep Learning by Weight-Perturbation in Adam. In `International Conference on Machine Learning\', PMLR, 2018, 2611-2620. |
| last update: | 30.09.2022 17:01:16 |
Storjové učení pro detekci podvodných finančních transakcí
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | bachelor thesis, master thesis |
| branch of study: | MI_MM, MI_AMSM |
| key words: | grafové neuronové sítě, strojové učení, finanční transakce |
| description: | Počet finančních transakcí celsovětově roste a s tím roste i počet podvodných transakcí. Detekce podvodných transakcí je složitý problém, protože techniky podvodů se neustále zlepšují. Strojové učení se jeví jako nejperspektivnější směr zlepšení kvality detekce. Cílem práce je seznámit se s existujícícmi technikami detekce podvodů, jejich základní principy a charakteristiky. Zvláštní pozornost by měla být věnována moderním technikám založeným na hlubokých neuronových sítích. Prvním krokem je rešerše a popis metod. Vybrané metody budou aplikovány na veřejné datasety jako jsou: Czech 1999 banking dataset, IBM credit card transactions, IBM Anti-money laundering data atp. V případě dobrých výsledků je možné otestovat metody i na reálných datech. |
| references: | Nickerson, K., Tricco, T., Kolokolova, A., Shoeleh, F., Robertson, C., Hawkin, J. and Hu, T., 2022, September. Banksformer: A Deep Generative Model for Synthetic Transaction Sequences. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases (pp. 121-136). Cham: Springer Nature Switzerland. Padhi, I., Schiff, Y., Melnyk, I., Rigotti, M., Mroueh, Y., Dognin, P., Ross, J., Nair, R. and Altman, E., 2021, June. Tabular transformers for modeling multivariate time series. In ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 3565-3569). IEEE. Forough, J. and Momtazi, S., 2021. Ensemble of deep sequential models for credit card fraud detection. Applied Soft Computing, 99, p.106883. |
| note: | Aplikační aspekty práce budou konzultovány s firmou Resistant AI |
| last update: | 06.09.2023 10:34:13 |
Učení chybějících členů diferenciálních rovnic z dat
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | bachelor thesis, master thesis |
| branch of study: | MI_MM, MI_AMSM |
| key words: | neuronové diferenciální rovnice, strojové učení |
| description: | Diferenciální rovnice jsou osvědčeným nástrojem pro modelování chování složitých procesů a strojů. Shoda matematického modelu s reálným chováním závisí nejen na kvalitě řešení rovnice, ale také na správných parametrech a ve složitějších případech i na přesném určení všech členů rovnice. Nový obor "scientific machine learning" se zabývá určením chybějících členů diferenciálních rovnic z dat. Cílem práce je seznámit se s problematikou optimalizace parametrů diferenciálních rovnic z dat, včetně případů kdy diferenciální rovnice obsahuje neuronovou síť. Prvním krokem je seznámení se s teorií a softwarem na učení rovnic. Druhým cílem práce je aplikace teorie a metod na syntetická a experimentální data. Syntetická data je možné vygenerovat twin experimentem (ze známých úplných rovnic). Pro experimentální data není přesné řešení známé, cílem je najít model s dobrou shcopností extrapolace. |
| references: | Rackauckas, C., Ma, Y., Martensen, J., Warner, C., Zubov, K., Supekar, R., Skinner, D., Ramadhan, A. and Edelman, A., 2020. Universal differential equations for scientific machine learning. arXiv preprint arXiv:2001.04385. Heim, N., Pevny, T. and Smidl, V., 2020. Neural power units. Advances in Neural Information Processing Systems, 33, pp.6573-6583. Sevcik, J., Smidl, V., Glac, A., Peroutka. Z., 2023. Neural ODE for learning of flux linkage models of synchronous drives. IEEE conference on industrial electronics. |
| last update: | 06.09.2023 10:53:32 |
V3S Database
The application records results of science and research, and other academic activities. The V3S application serves as a tool for submitting data to the RIV database, exporting data for statistic analyses, and internal evaluation of research.
List of publications in V3S
administrator for this page:
Radek Fučík | last update: 08/07/2011