Guiraud, Enrico (2021) Scalable unsupervised learning for deep discrete generative models: novel variational algorithms and their software realizations. PhD, Universität Oldenburg.

Preview

Volltext (3199Kb)

Abstract

Efficient training of probabilistic generative models is a highly sought-after goal in the field of machine learning. Usage of discrete latent variables in such models is considered important to capture the generative process of real-world data, which, for instance, has motivated research on Variational Autoencoders (VAEs) with discrete latents. Variational approximations of the EM algorithm offer a generic, powerful framework to derive training algorithms as a function of the chosen form of variational distributions. Here we make use of truncated posteriors as variational distributions and show how the resulting training algorithm can be used to establish a close link between evolutionary algorithms (EAs) and training of deep generative models with binary latents. We also show that EA-based training of discrete-latent VAEs yields a scalable and arguably more direct training scheme than available alternatives, suggesting a number of possible future research directions.

["eprint_fieldname_title_plus" not defined]

Skalierbares unüberwachtes Lernen für tiefe generative Modelle mit diskreten latenten Variablen - neue Variations-Algorithmen und ihre Software-Realisierungen

["eprint_fieldname_abstract_plus" not defined]

Effizientes Training von probabilistischen generativen Modellen ist ein begehrtes Ziel in Machine Learning. Diskrete latente Variablen werden oft verwendet, um den generativen Prozess von realen Daten zu erfassen, was z.B. die Forschung an diskreten Variational Autoencoders (VAEs) motiviert hat. Variationsapproximationen des EM-Algorithmus bieten einen generischen, leistungsfähigen Rahmen, um Trainingsalgorithmen in Abhängigkeit von der gewählten Form der Variationsverteilungen abzuleiten. Hier verwenden wir "truncated posteriors" als Variationsverteilungen und nutzen den daraus resultierenden Trainingsalgorithmus, um eine Verbindung zwischen evolutionären Algorithmen (EAs) und dem Training von tiefen generativen Modellen mit binären Latenten herzustellen. Wir zeigen auch, dass EA-basiertes Training von diskreten VAEs ein skalierbares und direkteres Trainingsschema als verfügbare Alternativen ergibt, was eine Reihe möglicher zukünftiger Forschungsrichtungen nahelegt.

Item Type:	Thesis (PhD)
Uncontrolled Keywords:	Unüberwachtes Lernen, Evolutionärer Algorithmus, EM-Algorithmus
Subjects:	Science and mathematics > Physics
Divisions:	Faculty of Mathematics and Science > Institute of Physics (IfP)
Date Deposited:	29 Jan 2021 09:23
Last Modified:	29 Jan 2021 09:32
URI:	https://oops.uni-oldenburg.de/id/eprint/4812
URN:	urn:nbn:de:gbv:715-oops-48937
DOI:
Nutzungslizenz:

Actions (login required)

View Item