Wolgast, Thomas (2025) Environment Design for Learning the Optimal Power Flow with Reinforcement Learning. PhD, Universität Oldenburg.

Preview

Volltext (2099Kb)

Abstract

The Optimal Power Flow (OPF) is an important optimisation problem in energy research. Neural networks and, in particular, Deep Reinforcement Learning (RL) offer great potential for solving the OPF. However, there is a lack of benchmark environments and methods for designing RL environments. Therefore, this work presents OPF-Gym, a Python framework with five OPF benchmark environments und options to design custom OPF-environments. Furthermore, the problem of automated environment design is treated and solved as an optimisation problem. Using Hyperparameter Optimisation (HPO), this approach outperforms manual designs in all benchmarks in terms of constraint satisfaction and optimisation performance. Statistical tests also show that certain design decisions are repeatedly superior, suggesting general validity. By introducing OPF-Gym, this work enables reproducible RL-OPF research. Further, it provides the first generally applicable approach for automated RL environment design.

["eprint_fieldname_title_plus" not defined]

Umgebungsdesign für das Lernen des Optimal Power Flow mit Reinforcement Learning

["eprint_fieldname_abstract_plus" not defined]

Der Optimal Power Flow (OPF) ist ein wichtiges Optimierungsproblem der Energieforschung. Zur Lösung des OPF bieten Neuronale Netze und besonders Deep Reinforcement Learning (RL) ein großes Potenzial. Doch es fehlen Benchmark-Umgebungen sowie Methoden für das Design der RL-Umgebungen. Diese Arbeit präsentiert daher OPF-Gym, ein Python-Framework mit fünf OPF-Benchmark-Umgebungen. Weiterhin wird das automatisierte Umgebungsdesign als Optimierungsproblem behandelt und gelöst. Unter Anwendung von Hyperparameter-Optimierung (HPO) übertrifft dieser Ansatz manuelle Designs in allen Benchmarks hinsichtlich Einhaltung der Randbedingungen und Optimierungsleistung. Statistische Tests belegen zudem, dass bestimmte Designentscheidungen wiederholt überlegen sind, was auf allgemeine Gültigkeit hindeutet. Durch die Vorstellung von OPF-Gym ermöglicht diese Arbeit somit reproduzierbare RL-OPF-Forschung und liefert den ersten allgemein einsetzbaren Ansatz für automatisiertes RL-Umgebungsdesign.

Item Type:	Thesis (PhD)
Uncontrolled Keywords:	Reinforcement Learning, Environment Design, Optimal Power Flow, Benchmark, Hyperparameter Optimization
Subjects:	Generalities, computers, information > Computer science, internet
Divisions:	School of Computing Science, Business Administration, Economics and Law > Department of Computing Science
Date Deposited:	06 Oct 2025 06:34
Last Modified:	06 Oct 2025 06:34
URI:	https://oops.uni-oldenburg.de/id/eprint/7274
URN:	urn:nbn:de:gbv:715-oops-73552
DOI:
Nutzungslizenz:

Actions (login required)

View Item