Deep Reinforcement Learning Framework zur Automatisierung des Handels im quantitativen Finanzwesen

Linktabelle

Zusammenfassung und 1 Einleitung

2 Verwandte Arbeiten und 2.1 Deep Reinforcement Learning Algorithmen

2.2 Deep Reinforcement Learning-Bibliotheken und 2.3 Deep Reinforcement Learning im Finanzwesen

3 Das vorgeschlagene FinRL-Framework und 3.1 Überblick über das FinRL-Framework

3.2 Anwendungsschicht

3.3 Agentenschicht

3.4 Umgebungsebene

3.5 Trainings-Test-Handels-Pipeline

4 Praktische Tutorials und Benchmark-Leistung und 4.1 Backtesting-Modul

4.2 Grundlegende Strategien und Handelsmetriken

4.3 Praktische Tutorials

4.4 Anwendungsfall I: Aktienhandel

4.5 Anwendungsfall II: Portfolioallokation und 4.6 Anwendungsfall III: Handel mit Kryptowährungen

5 Ökosystem von FinRL und Schlussfolgerungen und Referenzen

ABSTRAKT

Deep Reinforcement Learning (DRL) soll einen Wettbewerbsvorteil in der quantitativen Finanzwirtschaft bieten. Für quantitative Händler ist die Entwicklungskurve jedoch steil, wenn sie einen Agenten erhalten möchten, der sich automatisch so positioniert, dass er auf dem Markt gewinnt, d. h. der entscheidet, wo, zu welchem Preis und in welcher Menge gehandelt wird. Dies ist auf die fehleranfällige Programmierung und das mühsame Debuggen zurückzuführen. In diesem Artikel stellen wir das erste Open-Source-Framework FinRL als vollständige Pipeline vor, um quantitativen Händlern dabei zu helfen, die steile Lernkurve zu überwinden. FinRL zeichnet sich durch Einfachheit, Anwendbarkeit und Erweiterbarkeit unter den wichtigsten Prinzipien, Full-Stack-Framework, Anpassung, Reproduzierbarkeit und praktische Anleitung aus.

FinRL ist als dreischichtige Architektur mit modularen Strukturen implementiert und implementiert fein abgestimmte hochmoderne DRL-Algorithmen und gemeinsame Belohnungsfunktionen, während gleichzeitig die Debugging-Arbeitslast verringert wird. Auf diese Weise helfen wir Benutzern, die Strategieentwicklung mit einer hohen Umschlagsrate zu planen. Auf mehreren Ebenen der Zeitgranularität simuliert FinRL verschiedene Märkte als Trainingsumgebungen unter Verwendung historischer Daten und Live-Trading-APIs. Da FinRL hochgradig erweiterbar ist, behält es eine Reihe von Benutzerimportschnittstellen bei und berücksichtigt Handelsbeschränkungen wie Marktreibung, Marktliquidität und Risikoaversion des Anlegers. Darüber hinaus werden typische Handelsaufgaben als Schritt-für-Schritt-Tutorials bereitgestellt, die als Sprungbrett für Praktiker dienen, z. B. Aktienhandel, Portfolioallokation, Kryptowährungshandel usw.

1. EINLEITUNG

Deep Reinforcement Learning (DRL), das die Erforschung (unerforschten Terrains) und die Nutzung (des aktuellen Wissens) in Einklang bringt, ist ein vielversprechender Ansatz zur Automatisierung des Handels in der quantitativen Finanzwelt [50][51][47][54][21][13]. DRL-Algorithmen sind leistungsstark bei der Lösung dynamischer Entscheidungsprobleme, indem sie durch Interaktionen mit einer unbekannten Umgebung lernen und bieten zwei große Vorteile: Portfolioskalierbarkeit und Marktmodellunabhängigkeit [6]. In der quantitativen Finanzwelt besteht der algorithmische Handel im Wesentlichen aus dynamischen Entscheidungen, nämlich der Entscheidung, wo, zu welchem Preis und in welcher Menge in einem hochgradig stochastischen und komplexen Finanzmarkt gehandelt wird. Unter Einbeziehung vieler Finanzfaktoren, wie in Abb. 1 dargestellt, erstellt ein DRL-Handelsagent ein Multi-Faktor-Modell für den automatischen Handel, was für menschliche Händler nur schwer zu bewerkstelligen ist [4, 53]. Daher wird DRL als Wettbewerbsvorteil in der quantitativen Finanzwelt angesehen.

In vielen bestehenden Arbeiten wurde DRL in quantitativen Finanzaufgaben angewendet. Sowohl Forscher als auch Branchenpraktiker entwickeln aktiv Handelsstrategien, die von DRL angetrieben werden, da tiefe neuronale Netzwerke bei der Schätzung der erwarteten Rendite einer bestimmten Aktion in einem bestimmten Zustand erheblich leistungsfähig sind. Moody und Saffell [33] verwendeten eine Richtliniensuche für den Aktienhandel; Deng et al. [9] zeigten, dass DRL höhere Gewinne erzielen kann als herkömmliche Methoden. Weitere Anwendungen umfassen den Aktienhandel [35, 47, 51, 54], Terminkontrakte [54], alternative Daten (Nachrichtenstimmungen) [22, 35], Hochfrequenzhandel [15], Liquidationsstrategieanalyse [3] und Hedging [6]. DRL wird auch aktiv im Kryptowährungsmarkt erforscht, z. B. im automatisierten Handel, bei der Portfolioallokation und beim Market Making.

Allerdings ist die Entwicklung einer DRL-Handelsstrategie nicht einfach. Die Programmierung ist fehleranfällig und erfordert langwieriges Debugging. Die Entwicklungspipeline umfasst die Vorverarbeitung von Marktdaten, den Aufbau einer Trainingsumgebung, die Verwaltung von Handelszuständen und Backtests der Handelsleistung. Diese Schritte sind Standard für die Implementierung, aber dennoch zeitaufwändig, insbesondere für Anfänger. Daher besteht dringender Bedarf an einer Open-Source-Bibliothek, die Forschern und quantitativen Händlern hilft, die steile Lernkurve zu überwinden.

In diesem Artikel stellen wir ein FinRL-Framework vor, das die Entwicklung von Handelsstrategien automatisch rationalisiert, um Forschern und quantitativen Händlern zu helfen, ihre Strategien mit einer hohen Umschlagsrate zu iterieren. Benutzer geben die Konfigurationen an, z. B. die Auswahl von Daten-APIs und DRL-Algorithmen, und analysieren die Leistung der Handelsergebnisse. Um dies zu erreichen, führt FinRL ein dreischichtiges Framework ein. Ganz unten befindet sich eine Umgebungsschicht, die Finanzmärkte anhand tatsächlicher historischer Daten wie Schlusskurs, Aktien, Handelsvolumen und technischer Indikatoren simuliert. In der Mitte befindet sich die Agentenschicht, die fein abgestimmte DRL-Algorithmen und allgemeine Belohnungsfunktionen implementiert. Der Agent interagiert mit der Umgebung durch richtig definierte Belohnungsfunktionen im Zustands- und Aktionsraum. Die oberste Schicht umfasst Anwendungen im automatisierten Handel, wo wir mehrere Anwendungsfälle demonstrieren, nämlich Aktienhandel, Portfolioallokation, Kryptowährungshandel usw. Wir bieten grundlegende Handelsstrategien, um die Debugging-Arbeitslast zu verringern.

Im Rahmen des dreischichtigen Rahmens wird FinRL nach drei Hauptprinzipien entwickelt:

• Full-Stack-Framework. Bereitstellung eines Full-Stack-DRL-Frameworks mit finanzorientierten Optimierungen, einschließlich Marktdaten-APIs, Datenvorverarbeitung, DRL-Algorithmen und automatisiertem Backtesting. Benutzer können eine solche Entwicklungspipeline transparent nutzen.

• Anpassung. Um Modularität und Erweiterbarkeit in der Entwicklung beizubehalten, indem modernste DRL-Algorithmen einbezogen und die Entwicklung neuer Algorithmen unterstützt werden. Die DRL-Algorithmen können durch einfache Konfigurationen zum Erstellen von Handelsstrategien verwendet werden.

• Reproduzierbarkeit und praktische Anleitung. Bereitstellung von Tutorials wie schrittweisen Jupyter-Notebooks und Benutzerhandbüchern, um Benutzern dabei zu helfen, die Pipeline durchzugehen und die Anwendungsfälle zu reproduzieren.

Dies führt zu einem einheitlichen Framework, in dem Entwickler Ideen effizient durch Konfigurationen und Spezifikationen auf hoher Ebene erkunden und ihre eigenen Strategien auf Anfrage anpassen können.

Unsere Beiträge lassen sich wie folgt zusammenfassen:

• FinRL ist das erste Open-Source-Framework, das das große Potenzial der Anwendung von DRL-Algorithmen in der quantitativen Finanzwirtschaft demonstriert. Wir bauen ein Ökosystem rund um das FinRL-Framework auf, das den Grundstein für die schnell wachsende AI4Finance-Community legt.

• Die Anwendungsschicht bietet Schnittstellen, mit denen Benutzer FinRL an ihre eigenen Handelsaufgaben anpassen können. Ein automatisiertes Backtesting-Modul und Leistungsmetriken werden bereitgestellt, um quantitativen Händlern zu helfen, Handelsstrategien mit hoher Umschlagsrate zu iterieren. Profitable Handelsstrategien sind reproduzierbar und praktische Tutorials werden in anfängerfreundlicher Weise bereitgestellt. Die Anpassung der trainierten Modelle an die sich schnell ändernden Märkte ist ebenfalls möglich.

• Die Agentenschicht bietet hochmoderne DRL-Algorithmen, die mit fein abgestimmten Hyperparametern an die Finanzwelt angepasst sind. Benutzer können neue DRL-Algorithmen hinzufügen.

• Die Umgebungsebene umfasst nicht nur eine Sammlung von APIs für historische Daten, sondern auch APIs für den Live-Handel. Sie werden in standardmäßige OpenAI-Gym-Umgebungen umkonfiguriert [5]. Darüber hinaus werden Marktreibungen berücksichtigt und Benutzer können die Granularität der Handelszeit anpassen.

Der Rest dieses Dokuments ist wie folgt gegliedert. Abschnitt 2 gibt einen Überblick über verwandte Arbeiten. Abschnitt 3 stellt das FinRL-Framework vor. Abschnitt 4 demonstriert Benchmark-Trading-Aufgaben mit FinRL. Wir schließen dieses Dokument in Abschnitt 5 ab.