Metody hlubokého učení pro inverzní úlohy na obrazových datech
| advisor: | doc. Ing. Václav Šmídl, Ph.D. |
| e-mail: | show e-mail |
| type: | phd thesis |
| branch of study: | MI_MM, MI_AMSM |
| key words: | hluboké učení, zpracování obrazu |
| description: | Mnoho úloh zpracování obrazu lze formulovat jako šptaně podmíněnou inverzní úlohu. Výsledky v oblasti klasických přístupů k regularizyaci úlohy získávají poslední dobou konkurenci z oblasti hlubokého strojového učení Současné metody zero-shot učení však trpí nestabilitou. Kvalita výsledku výrazně kolísá pro různé realizace šumu v náhodné inicializaci metody. Toto chování může být způsobeno volnou kritéria trénovaná, která téměř vždy odpovídá maximalizace aposteriorní pravděpodobnosti (MAP) řešení. Pro správnou funkci klasických metod založených na tomto principu je třeba zavést dodatečné regularizace a úpravy trénování. Obvyklé postupy však nefungují pro metody s hlobokými neuronovými sítěmi. Cílem práce je dosáhnout větší stability učení modelů hlubokých neuronových sítí pro vybrané problémy zpracování obrazu pomocí robustního kritéria trénování. Jako nejnadějnější kanditát se jeví metoda variační bayes, která hledá aproximaci celé aposteriorní distribuce. V tomto přístupu je možné odhadovat i konstanty, které se v MAP přístupu musí volit. Tato metoda však pro nelineární modely využívá stochastického odhadu momentů aproximující distribuce, čímž se optimalizace stává stochastickou. Tento nedostatek je možné kompenzovat použitím vhodných technik redukce variance. Alternativou k variačnímu přístupu je robustní trénování založené například na invariant risk minimization. Metody budou testovány na problémech slepé dekonvoluce, impaintingu, atp. Zvláštní pozornost bude věnována netradičním zdrojům dat, například dat z environmentální elektronové mikroskopie, madicínským obrazovým datům nebo magnetické mikrobotiky. Očekáváme, že v těchto oblastech bude možné nalézt specifické vlastnosti, které nám umožní formulovat dodatečné předpoklady. Zabudováním těchto předpokladů je možné vyvinout modifikace metod hlubokého učení lépe odpovídějící specifickým vlastnostem dat. |
| references: | [1] Goodfellow, I., Bengio, Y., Courville, A., & Bengio, Y. (2016). Deep learning (Vol. 1, No. 2). Cambridge: MIT press. [2] Ulyanov, D., Vedaldi, A., & Lempitsky, V. (2018). Deep image prior. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (pp. 9446-9454). [3] Khan, Mohammad, Didrik Nielsen, Voot Tangkaratt, Wu Lin, Yarin Gal, and Akash Srivastava. \"Fast and scalable bayesian deep learning by weight-perturbation in adam.\" In International Conference on Machine Learning, pp. 2611-2620. PMLR, 2018. [4] Kotera, J., Šmídl, V., & Šroubek, F. (2017). Blind deconvolution with model discrepancies. IEEE Transactions on Image Processing, 26(5), 2533-2544. |
| note: | Práce je součástí grantu GAČR GA20-27939S. |
| last update: | 01.02.2021 20:03:34 |
administrator for this page:
Ľubomíra Dvořáková | last update: 09/12/2011