doc. Ing. Václav Šmídl, Ph.D. (externí spolupracovník)
| e-mail: | zobrazit e-mail |
| www: | http://staff.utia.cz/smidl/ |
| instituce: | ÚTIA AV ČR, v.v.i. |
| adresa: | Pod vodárenskou věží 4 |
Odhad neparametrických hierarchických Bayesovských modelů
| školitel: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | zobrazit e-mail |
| typ práce: | dizertační práce |
| zaměření: | MI_AMSM |
| odkaz: | http://www.utia.cas.cz/cs/people/smidl |
| popis: | Neparametrické Bayesovské modely nacházejí často uplatnění na složité úlohy, kde neznáme parametrický model. Flexibilita neparametrických modelů jako jsou Gausovské procesy je velkou výhodou pro přesnější modelování regresních úloh nebo výpočtu integrálů (Bayesian quadrature). Kvalita výsledného algoritmu záleží na odhadu hyparparemetrů použitého modelu (např. parametrů kovarianční funkce Gausovského procesu). Standardní metody odhadu pomocí maximální věrohodnosti fungují na jednoduché modely, avšak selhávají pro složitější úlohy např. s heteroskedactickým šumem. Cílem práce je nalézt metody odhadu hyperparametrů stochastických procesů, které umožňují odhad složitějších hierarchických modelů. Tato modely budou vyvíjeny pro potřeby Bayesovské optimalizace a Bayesovské integrace. Aplikace očekáváme především v oblasti optimalizace a kalibrace složitých počítačových modelů, například simulace složitých strojů a inverzní modelování atmosférických disperzních modelů. |
| naposledy změněno: | 19.05.2017 15:03:09 |
Uncertainty representation in tree structured data
| školitel: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | zobrazit e-mail |
| typ práce: | dizertační práce |
| zaměření: | MI_MM, MI_AMSM |
| klíčová slova: | uncertainty representation, ensemble methods, Monte Carlo, |
| popis: | Classical methods of machine learning assume that data are available in the form of a vector of a known dimension. However, this is rarely the case in practice where data are available in structured forms such as incomplete database entries or json files. Mapping of such data into the assumed vector structure (i.e. feature extraction) is typically done by a human, which is a laborious task that is susceptible to errors. Recent methods aim to avoid this step by directly training models on the full data space using the paradigm of deep sets. Discriminative learning is nowadays a common task, however, the uncertainty of trained models is not well known. The aim of the thesis is to propose a method for uncertainty representation of these models. The proposed models will be continually validated on real data from network security domain. |
| literatura: | [1] Zaheer, M., Kottur, S., Ravanbakhsh, S., Poczos, B., Salakhutdinov, R. R., & Smola, A. J. (2017). Deep sets. In Advances in neural information processing systems (pp. 3391-3401). [2] Bishop, C. M. (2006). Pattern recognition and machine learning. springer. [3] Pevný, T., & Somol, P. (2017, June). Using neural network formalism to solve multiple-instance problems. In International Symposium on Neural Networks (pp. 135-142). Springer, Cham. [4] Létal, V., Pevný, T., Šmidl, V., & Somol, P. (2015). Finding New Malicious Domains Using Variational Bayes on Large-Scale Computer Network Data. In NIPS Workshop: Advances in Approximate Bayesian Inference (pp. 1-10). [5] Goodfellow, I., Bengio, Y., & Courville, A. (2016). Deep learning. MIT press. |
| naposledy změněno: | 18.06.2020 10:02:36 |
Metody hlubokého učení pro inverzní úlohy na obrazových datech
| školitel: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | zobrazit e-mail |
| typ práce: | dizertační práce |
| zaměření: | MI_MM, MI_AMSM |
| klíčová slova: | hluboké učení, zpracování obrazu |
| popis: | Mnoho úloh zpracování obrazu lze formulovat jako šptaně podmíněnou inverzní úlohu. Výsledky v oblasti klasických přístupů k regularizyaci úlohy získávají poslední dobou konkurenci z oblasti hlubokého strojového učení Současné metody zero-shot učení však trpí nestabilitou. Kvalita výsledku výrazně kolísá pro různé realizace šumu v náhodné inicializaci metody. Toto chování může být způsobeno volnou kritéria trénovaná, která téměř vždy odpovídá maximalizace aposteriorní pravděpodobnosti (MAP) řešení. Pro správnou funkci klasických metod založených na tomto principu je třeba zavést dodatečné regularizace a úpravy trénování. Obvyklé postupy však nefungují pro metody s hlobokými neuronovými sítěmi. Cílem práce je dosáhnout větší stability učení modelů hlubokých neuronových sítí pro vybrané problémy zpracování obrazu pomocí robustního kritéria trénování. Jako nejnadějnější kanditát se jeví metoda variační bayes, která hledá aproximaci celé aposteriorní distribuce. V tomto přístupu je možné odhadovat i konstanty, které se v MAP přístupu musí volit. Tato metoda však pro nelineární modely využívá stochastického odhadu momentů aproximující distribuce, čímž se optimalizace stává stochastickou. Tento nedostatek je možné kompenzovat použitím vhodných technik redukce variance. Alternativou k variačnímu přístupu je robustní trénování založené například na invariant risk minimization. Metody budou testovány na problémech slepé dekonvoluce, impaintingu, atp. Zvláštní pozornost bude věnována netradičním zdrojům dat, například dat z environmentální elektronové mikroskopie, madicínským obrazovým datům nebo magnetické mikrobotiky. Očekáváme, že v těchto oblastech bude možné nalézt specifické vlastnosti, které nám umožní formulovat dodatečné předpoklady. Zabudováním těchto předpokladů je možné vyvinout modifikace metod hlubokého učení lépe odpovídějící specifickým vlastnostem dat. |
| literatura: | [1] Goodfellow, I., Bengio, Y., Courville, A., & Bengio, Y. (2016). Deep learning (Vol. 1, No. 2). Cambridge: MIT press. [2] Ulyanov, D., Vedaldi, A., & Lempitsky, V. (2018). Deep image prior. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 9446-9454). [3] Khan, Mohammad, Didrik Nielsen, Voot Tangkaratt, Wu Lin, Yarin Gal, and Akash Srivastava. \"Fast and scalable bayesian deep learning by weight-perturbation in adam.\" In International Conference on Machine Learning, pp. 2611-2620. PMLR, 2018. [4] Kotera, J., Šmídl, V., & Šroubek, F. (2017). Blind deconvolution with model discrepancies. IEEE Transactions on Image Processing, 26(5), 2533-2544. |
| poznámka: | Práce je součástí grantu GAČR GA20-27939S. |
| naposledy změněno: | 01.02.2021 20:03:34 |
Učení matematického modelu z dat
| školitel: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | zobrazit e-mail |
| typ práce: | bakalářská práce, diplomová práce |
| zaměření: | MI_MM, MI_AMSM |
| klíčová slova: | identifikace modelu, strojové učení, |
| popis: | Matematické modely jednoduchých fyzikálních jevů jsou známé a dobře prozkoumané. Pro složitější jevy v nich však figuruje mnoho neznámých parametrů a často vedou k velmi složitým výpočtům. Je proto výhodné hledat pro tyto úlohy zjednodušené modely, které dobře reprezentují reálný problém. Běžně používané black-box modely jako neuronové sítě potřebují k naučení velké množství dat a často je obtížné porozumět jak modle funguje. Cílem práce je seznámit se s problémem učení matematických modelů z dat. Hlavním studovaným přístupem je učení řídké parametrizace bohatého modelu. Na jednoduché úkoly stačí například lineární modely, jako je LASSO, na složitější je potřeba použít obecnější postupy. Zvláštní pozornost budeme věnovat modelu neuronové aritmetiky, kde se matematický model učí jako vrstvená kombinace aritmetických operací. Výsledné metody budou testovány na datech z fyzikálních experimentů. |
| literatura: | 1. Brunton, Steven L., Joshua L. Proctor, and J. Nathan Kutz. \"Discovering governing equations from data by sparse identification of nonlinear dynamical systems.\" Proceedings of the national academy of sciences 113, no. 15 (2016): 3932-3937. 2. Heim, Niklas, Tomáš Pevný, and Václav Šmídl. \"Neural power units.\" arXiv preprint arXiv:2006.01681 (2020). 3. Udrescu, Silviu-Marian, and Max Tegmark. \"AI Feynman: A physics-inspired method for symbolic regression.\" Science Advances 6, no. 16 (2020). |
| naposledy změněno: | 22.09.2021 12:41:01 |
Neuronové sítě pro analýzu stavu plasmatu v Tokamaku
| školitel: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | zobrazit e-mail |
| typ práce: | bakalářská práce, diplomová práce |
| zaměření: | MI_MM, MI_AMSM |
| klíčová slova: | strojové učení, neuronové sítě, model plasmatu |
| popis: | Modelování stavu plasmatu v Tokamaku je náročné díky velkému množství fyzikálních dějů a neúplnému měření. Simulační nástroje vyžadují velké množství času na výpočet. Cílem práce je ověřit možnosti využití neuronových sítí jako univerzálního aproximátoru. Klasické neuronové sítě byly aplikovány již na několik problémů v oblasti diagnostiky plasmatu, použití nových architektur, např. transformerů je stále neprověřené. Práce se bude zabývat aplikací nejnovějších metod na problém detekce stavu udržení plasmatu (H-mode, L-mode, ELM). Datová sada je připravena a jsou k dispozici i implementace předchozích architektur neuronových sítí. |
| literatura: | Matěj Zorek, Vít Škvára, Václav Šmídl, Tomáš Pevný, Jakub Seidl, Ondřej Grover. Semi-supervised Deep networks for plasma state identification. Plasma Physics and Controlled Fusion. 2022 F Matos, V Menkovski, F Felici, A Pau, F Jenko, TCV Team, EUROfusion MST1 Team,et al. Classification of tokamak plasma confinement states with convolutional recurrent neural networks. Nuclear Fusion, 60(3):036022, 2020. Zerveas G, Jayaraman S, Patel D, Bhamidipaty A, Eickhoff C. A transformer-based framework for multivariate time series representation learning. InProceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining 2021 Aug 14 (pp. 2114-2124). |
| poznámka: | Práce probíhá ve spolupráci s ústavem fyziky plasmatu AV ČR. |
| naposledy změněno: | 06.09.2022 22:50:48 |
Physics-informed neural networks
| školitel: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | zobrazit e-mail |
| typ práce: | bakalářská práce, diplomová práce |
| zaměření: | MI_MM, MI_AMSM |
| klíčová slova: | neuronove site; diferencialni rovnice |
| popis: | Physics-informed neural network (PINN) jsou aplikací neuronových sítí na problém řešení diferenciálních a parciálních diferenciálních rovnic. V principu jednoduchá technika, zalozená na náhodné mřižce a minimalizaci chyby splnění diferenciální rovnice v těchto bodech pro neuronovou síť. Od svého přestavení před několika lety se tato technika vyvinula do bohaté formy metod podporujících práci s neurčitostí, aktivní volbu uzlových bodů, a mnoho dalších rozšíření. Díky plné derivovatelnosti tyto sítě dovolují i optimalizaci zadání úlohy. Cílem práce je seznámit se s metodou PINN na jendoduchých problémech a jejími rozšířeními. Dále vybrat rozšíření na složitější úlohu, naprříklad zakomponování neurčitosti nebo optimalizaci zadání a vyzkoušet toto rozšíření na vhodně zvoleném problému. |
| literatura: | Raissi, M., Perdikaris, P. and Karniadakis, G.E., 2019. Physics-informed neural networks: A deep learning framework for solving forward and inverse problems involving nonlinear partial differential equations. Journal of Computational physics, 378, pp.686-707. Yang, L., Meng, X. and Karniadakis, G.E., 2021. B-PINNs: Bayesian physics-informed neural networks for forward and inverse PDE problems with noisy data. Journal of Computational Physics, 425, p.109913. Lu, L., Pestourie, R., Yao, W., Wang, Z., Verdugo, F. and Johnson, S.G., 2021. Physics-informed neural networks with hard constraints for inverse design. SIAM Journal on Scientific Computing, 43(6), pp.B1105-B1132. |
| naposledy změněno: | 19.09.2022 22:20:29 |
Storjové učení pro detekci podvodných finančních transakcí
| školitel: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | zobrazit e-mail |
| typ práce: | bakalářská práce, diplomová práce |
| zaměření: | MI_MM, MI_AMSM |
| klíčová slova: | grafové neuronové sítě, strojové učení, finanční transakce |
| popis: | Počet finančních transakcí celsovětově roste a s tím roste i počet podvodných transakcí. Detekce podvodných transakcí je složitý problém, protože techniky podvodů se neustále zlepšují. Strojové učení se jeví jako nejperspektivnější směr zlepšení kvality detekce. Cílem práce je seznámit se s existujícícmi technikami detekce podvodů, jejich základní principy a charakteristiky. Zvláštní pozornost by měla být věnována moderním technikám založeným na hlubokých neuronových sítích. Prvním krokem je rešerše a popis metod. Vybrané metody budou aplikovány na veřejné datasety jako jsou: Czech 1999 banking dataset, IBM credit card transactions, IBM Anti-money laundering data atp. V případě dobrých výsledků je možné otestovat metody i na reálných datech. |
| literatura: | Nickerson, K., Tricco, T., Kolokolova, A., Shoeleh, F., Robertson, C., Hawkin, J. and Hu, T., 2022, September. Banksformer: A Deep Generative Model for Synthetic Transaction Sequences. In Joint European Conference on Machine Learning and Knowledge Discovery in Databases (pp. 121-136). Cham: Springer Nature Switzerland. Padhi, I., Schiff, Y., Melnyk, I., Rigotti, M., Mroueh, Y., Dognin, P., Ross, J., Nair, R. and Altman, E., 2021, June. Tabular transformers for modeling multivariate time series. In ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 3565-3569). IEEE. Forough, J. and Momtazi, S., 2021. Ensemble of deep sequential models for credit card fraud detection. Applied Soft Computing, 99, p.106883. |
| poznámka: | Aplikační aspekty práce budou konzultovány s firmou Resistant AI |
| naposledy změněno: | 06.09.2023 10:34:13 |
Machine learning for gravitational wave physics
| školitel: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | zobrazit e-mail |
| typ práce: | bakalářská práce, diplomová práce |
| zaměření: | MI_MM, MI_AMSM |
| klíčová slova: | bayesian ineference; machine learning; gravitational waves; simulator based inference |
| popis: | The discovery of gravitational waves has revolutionized modern physics, opening a new observational window into the Universe. This thesis project offers the opportunity to contribute to this rapidly growing field by developing advanced machine learning tools for the detection and statistical analysis of gravitational waves from the mergers of black holes and neutron stars. The student will work with state-of-the-art deep learning methods in Python and integrate them with Bayesian approaches for parameter inference. The project will involve generating and analyzing realistic simulations of gravitational-wave signals in noisy detector data, and applying Bayesian techniques to quantify uncertainties and extract astrophysical parameters. These methods will be tested and benchmarked against data from current interferometers (e.g., LIGO, Virgo) and evaluated for their relevance to future space-based missions. By the end of the project, the student will gain hands-on experience with machine learning architectures, Bayesian statistical analysis, large-scale simulations, and inference techniques at the forefront of gravitational-wave astronomy. |
| literatura: | [1] Bishop, Christopher M.. Pattern recognition and machine learning. Vol. 4, no. 4. New York: springer, 2006. [2] Gutmann, M.U. and Corander, J., 2016. Bayesian optimization for likelihood-free inference of simulator-based statistical models. Journal of Machine Learning Research, 17(125), pp.1-47. |
| poznámka: | Salary is provided for the duration of the thesis. |
| naposledy změněno: | 19.09.2025 10:24:51 |
Transfromery v Bayesovské statistice
| školitel: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | zobrazit e-mail |
| typ práce: | bakalářská práce, diplomová práce |
| zaměření: | MI_MM, MI_AMSM |
| klíčová slova: | sociální sítě, grafové neuronové sítě |
| popis: | Výpočet aposteriorních distribucí je složitý proces s mnoha existujícími metodami, jako je Monte Carlo Markov Chain. Tyto metody jsou však příliš výpočetně náročné pro složitější úĺohy, jako jsou neuronové sítě. Relativně nová metoda Prior-Data Fitted Network (PFN) dovoluje řešit složité problémy velmi jendoduchým mechanismem založeným na učení transformerů. Tato metoda má teoretické vysvětlení v teorii stochastických procesů. Cílem práce je replikovat existující výsledky metody na jednoduchých problémech a ověřit teoretické hypotézy. Po uspěšném ověření bude metoda aplikována na složitější vybraný problém. |
| literatura: | Bishop, Christopher M.. Pattern recognition and machine learning. Vol. 4, no. 4. New York: springer, 2006. Müller, S., Hollmann, N., Arango, S.P., Grabocka, J. and Hutter, F., Transformers Can Do Bayesian Inference. In International Conference on Learning Representations. Nagler, Thomas. \"Statistical foundations of prior-data fitted networks.\" In International Conference on Machine Learning, pp. 25660-25676. PMLR, 2023. |
| naposledy změněno: | 19.09.2025 11:57:23 |
Databáze V3S
Aplikace V3S eviduje výsledky vědy a výzkumu a další aktivity vědecko-výzkumných pracovníků ve vědecké komunitě. Aplikace V3S slouží k odesílání výsledků do RIV, exportům pro statistické analýzy i k interním hodnocením vědecko-výzkumné činnosti.
Seznam publikaci ve V3S
za obsah této stránky zodpovídá:
Radek Fučík | naposledy změněno: 7.8.2011