Werner, Tino (2020) Gradient-Free Gradient Boosting. PhD, Universität Oldenburg.

Preview

Volltext (2749Kb)

Abstract

Motivated by applications in fraud detection, this dissertation is concerned about model selection in predictive models where the correct ranking of observations has to be predicted. For this, the thesis starts by proving the asymptotic linearity of a whole family of regularized M-estimators which covers for example the Lasso. With the algorithm ''SingBoost'' developed in this dissertation, we succeed in providing a Gradient Boosting algorithm as an extension of L2-Boosting, even though the loss function is non-continuous. We prove: This algorithm has analogous consistency properties as L2-Boosting. As to stable model selection, we develop a loss-based Stability Selection. In combination with this Stability Selection, SingBoost strictly improves the performance for the hard ranking problem on simulated data. The loss-based Stability Selection that we provide is universally applicable, i.e., for arbitrary loss functions.

["eprint_fieldname_title_plus" not defined]

Gradientenfreies Gradienten-Boosting

["eprint_fieldname_abstract_plus" not defined]

Motiviert durch Anwendungen in der Betrugsdetektion beschäftigt sich die Dissertation mit der Modellwahl in prädiktiven Modellen, in denen das korrekte Ranking von Beobachtungen vorhergesagt werden soll. Hierzu beweist die Arbeit zunächst die asymptotische Linearität einer ganzen Familie regularisierter M-Schätzer, die u.A. das Lasso abdeckt. Mit dem in der Dissertation entwickelten Verfahren ,,SingBoost'' gelingt es, trotz unstetiger Verlustfunktion auch im Rankingproblem ein Gradienten-Boosting in Erweiterung des L2-Boostings bereitzustellen. Wir beweisen: Dieser Algorithmus besitzt entsprechende Konsistenz-Eigenschaften wie das L2-Boosting. Für eine stabile Modellwahl wird eine verlustbasierte Stabilitätsselektion entwickelt. Auf simulierten Daten verbessert SingBoost verbunden mit dieser Stabilitätsselektion die Performance für das harte stetige Rankingproblem strikt. Die hierzu entwickelte Stabilitätsselektion ist dabei universell, für beliebige Verlustfunktionen, einsetzbar.

Item Type:	Thesis (PhD)
Uncontrolled Keywords:	Ranking problem, asymptotic linearity, sparse models, Gradient Boosting, stability selection
Subjects:	Science and mathematics > Mathematics
Divisions:	Faculty of Mathematics and Science > Institute for Mathematics (IfM)
Date Deposited:	27 Jan 2020 16:30
Last Modified:	27 Jan 2020 16:30
URI:	https://oops.uni-oldenburg.de/id/eprint/4290
URN:	urn:nbn:de:gbv:715-oops-43718
DOI:
Nutzungslizenz:

Actions (login required)

View Item