Kantitatif Finansta Ticareti Otomatikleştirmek için Derin Takviyeli Öğrenme Çerçevesi

Bağlantı Tablosu

Özet ve 1 Giriş

2 İlgili Çalışmalar ve 2.1 Derin Güçlendirmeli Öğrenme Algoritmaları

2.2 Derin Takviyeli Öğrenme Kitaplıkları ve 2.3 Finansta Derin Takviyeli Öğrenme

3 Önerilen FinRL Çerçevesi ve 3.1 FinRL Çerçevesine Genel Bakış

3.2 Uygulama Katmanı

3.3 Aracı Katmanı

3.4 Ortam Katmanı

3.5 Eğitim-Test-Ticaret Boru Hattı

4 Uygulamalı Eğitimler ve Karşılaştırmalı Performans ve 4.1 Geriye Dönük Test Modülü

4.2 Temel Stratejiler ve Ticaret Metrikleri

4.3 Uygulamalı Eğitimler

4.4 Kullanım Senaryosu I: Hisse Senedi Ticareti

4.5 Kullanım Senaryosu II: Portföy Tahsisi ve 4.6 Kullanım Senaryosu III: Kripto Para Ticareti

5 FinRL Ekosistemi ve Sonuçlar ve Referanslar

SOYUT

Derin takviyeli öğrenmenin (DRL) niceliksel finansta rekabet avantajına sahip olacağı öngörülmektedir. Bununla birlikte, niceliksel tüccarların, piyasada kazanmak için otomatik olarak konumlanan, yani nerede, hangi fiyattan ve hangi miktarda ticaret yapacağına karar veren bir aracıyı elde etme konusunda, hataya açık programlama ve zorlu hata ayıklama nedeniyle dik bir gelişme eğrisi vardır. Bu yazıda, niceliksel yatırımcıların zorlu öğrenme eğrisinin üstesinden gelmesine yardımcı olmak için ilk açık kaynaklı çerçeve FinRL'yi tam bir süreç olarak sunuyoruz. FinRL, temel ilkeler kapsamında basitlik, uygulanabilirlik ve genişletilebilirlik, tam yığın çerçeve, özelleştirme, tekrarlanabilirlik ve uygulamalı eğitim ile öne çıkar

Modüler yapılara sahip üç katmanlı bir mimari olarak şekillendirilen FinRL, ince ayarlı son teknoloji ürünü DRL algoritmalarını ve ortak ödül işlevlerini uygularken hata ayıklama iş yüklerini de azaltır. Böylece kullanıcıların strateji tasarımını yüksek bir ciro oranında gerçekleştirmelerine yardımcı oluyoruz. FinRL, birden fazla zaman ayrıntı düzeyinde, geçmiş verileri ve canlı ticaret API'lerini kullanarak çeşitli pazarları eğitim ortamları olarak simüle eder. Oldukça genişletilebilir olan FinRL, bir dizi kullanıcı-içe aktarma arayüzünü saklı tutar ve piyasa sürtünmesi, piyasa likiditesi ve yatırımcının riskten kaçınması gibi ticari kısıtlamaları birleştirir. Ayrıca, uygulayıcılar için basamak taşları olarak hizmet veren tipik ticaret görevleri, örneğin hisse senedi ticareti, portföy tahsisi, kripto para birimi ticareti vb. gibi adım adım eğitimler halinde sağlanmaktadır.

1. GİRİŞ

Keşfi (keşfedilmemiş bölgelerin) ve kullanımı (mevcut bilginin) dengeleyen derin takviyeli öğrenme (DRL), niceliksel finansta ticareti otomatikleştirmek için umut verici bir yaklaşımdır ] DRL algoritmaları, bilinmeyen bir ortamla etkileşimler yoluyla öğrenerek dinamik karar verme problemlerini çözmede güçlüdür ve portföy ölçeklenebilirliği ve pazar modelinden bağımsız olmak üzere iki önemli avantaj sunar [6]. Kantitatif finansta, algoritmik ticaret esasen dinamik kararlar vermektir; yani oldukça stokastik ve karmaşık bir finansal piyasada nerede, hangi fiyattan ve hangi miktarda ticaret yapılacağına karar vermektir. Şekil 1'de gösterildiği gibi birçok finansal faktörü bir araya getiren bir DRL ticaret temsilcisi, otomatik olarak ticaret yapmak için çok faktörlü bir model oluşturur ve bunu insan tüccarlar için başarmak zordur [4, 53]. Bu nedenle DRL'nin niceliksel finansta rekabet avantajına sahip olacağı öngörülmüştür.

Mevcut çalışmaların çoğu, niceliksel mali görevlerde DRL'yi uygulamıştır. Derin sinir ağları, bir durumda belirli bir eylemi gerçekleştirmenin beklenen getirisini tahmin etmede önemli ölçüde güçlü olduğundan, hem araştırmacılar hem de endüstri uygulayıcıları DRL tarafından desteklenen ticaret stratejilerini aktif olarak tasarlıyorlar. Moody ve Saffell [33] hisse senedi alım satımı için bir politika araştırması kullanmıştır; Deng ve diğerleri. [9] DRL'nin geleneksel yöntemlere göre daha fazla kar elde edebildiğini gösterdi. Daha fazla uygulama arasında hisse senedi ticareti [35, 47, 51, 54], vadeli işlem sözleşmeleri [54], alternatif veriler (haber duyarlılığı) [22, 35], yüksek frekanslı ticaret [15], tasfiye stratejisi analizi [3] ve riskten korunma [3] yer almaktadır. 6]. DRL ayrıca kripto para piyasasında, örneğin otomatik ticaret, portföy tahsisi ve piyasa yapımı gibi alanlarda aktif olarak araştırılmaktadır.

Ancak bir DRL ticaret stratejisi tasarlamak kolay değildir. Programlama sıkıcı hata ayıklama nedeniyle hataya açıktır. Geliştirme hattı, piyasa verilerinin ön işlenmesini, bir eğitim ortamı oluşturulmasını, ticaret durumlarının yönetilmesini ve ticaret performansının geriye doğru test edilmesini içerir. Bu adımlar uygulama için standarttır ancak özellikle yeni başlayanlar için zaman alıcıdır. Bu nedenle, araştırmacıların ve niceliksel tüccarların zorlu öğrenme eğrisinin üstesinden gelmelerine yardımcı olacak bir açık kaynak kütüphanesine acil bir talep var.

Bu yazıda, araştırmacıların ve niceliksel tüccarların stratejilerini yüksek bir ciro oranında yinelemelerine yardımcı olmak amacıyla ticaret stratejilerinin gelişimini otomatik olarak kolaylaştıran bir FinRL çerçevesi sunuyoruz. Kullanıcılar, veri API'lerinin ve DRL algoritmalarının seçilmesi gibi yapılandırmaları belirler ve işlem sonuçlarının performansını analiz eder. Bunu başarmak için FinRL üç katmanlı bir çerçeve sunuyor. En altta, kapanış fiyatı, hisse senetleri, işlem hacmi ve teknik göstergeler gibi gerçek geçmiş verileri kullanarak finansal piyasaları simüle eden bir ortam katmanı bulunur. Ortada, ince ayarlı DRL algoritmalarını ve ortak ödül işlevlerini uygulayan aracı katmanı bulunur. Etmen, durum alanı ve eylem alanı üzerinde uygun şekilde tanımlanmış ödül fonksiyonları aracılığıyla çevre ile etkileşime girer. Üst katman, hisse senedi ticareti, portföy tahsisi, kripto para birimi ticareti vb. gibi çeşitli kullanım durumlarını gösterdiğimiz otomatik ticaretteki uygulamaları içerir. Hata ayıklama iş yüklerini hafifletmek için temel ticaret stratejileri sağlıyoruz.

Üç katmanlı çerçeve kapsamında FinRL üç temel prensiple geliştirildi:

• Tam yığın çerçevesi. Piyasa verileri API'leri, veri ön işleme, DRL algoritmaları ve otomatik geriye dönük test dahil olmak üzere finans odaklı optimizasyonlara sahip tam kapsamlı bir DRL çerçevesi sağlamak. Kullanıcılar böyle bir geliştirme hattından şeffaf bir şekilde yararlanabilirler.

• Kişiselleştirme. En son teknoloji DRL algoritmalarını dahil ederek ve yeni algoritmaların tasarımını destekleyerek geliştirmede modülerliği ve genişletilebilirliği korumak. DRL algoritmaları, basit konfigürasyonlarla ticaret stratejileri oluşturmak için kullanılabilir.

• Tekrarlanabilirlik ve uygulamalı eğitim. Kullanıcıların işlem hattında ilerlemesine ve kullanım örneklerini yeniden oluşturmasına yardımcı olmak için adım adım Jupyter not defterleri ve kullanıcı kılavuzu gibi eğitimler sağlamak.

Bu, geliştiricilerin üst düzey yapılandırmalar ve spesifikasyonlar yoluyla fikirleri verimli bir şekilde keşfedebildikleri ve istek üzerine kendi stratejilerini özelleştirebildikleri birleşik bir çerçeveye yol açar.

Katkılarımızı özetlemek gerekirse:

• FinRL, niceliksel finansta DRL algoritmalarının uygulanmasının büyük potansiyelini gösteren ilk açık kaynaklı çerçevedir. Hızla büyüyen AI4Finance topluluğunun tohumlarını atan FinRL çerçevesi etrafında bir ekosistem inşa ediyoruz.

• Uygulama katmanı, kullanıcıların FinRL'yi kendi ticaret görevlerine göre özelleştirmeleri için arayüzler sağlar. Otomatik geriye dönük test modülü ve performans ölçümleri, niceliksel yatırımcıların ticaret stratejilerini yüksek bir ciro oranında yinelemelerine yardımcı olmak için sağlanmıştır. Kârlı ticaret stratejileri tekrarlanabilir ve uygulamalı eğitimler yeni başlayanlar için uygun bir şekilde sağlanır. Eğitilen modellerin hızla değişen pazarlara göre ayarlanması da mümkündür.

• Aracı katmanı, ince ayarlı hiper parametrelerle finansa uyarlanan son teknoloji ürünü DRL algoritmaları sağlar. Kullanıcılar yeni DRL algoritmaları ekleyebilir.

• Ortam katmanı yalnızca geçmiş veri API'lerinin bir koleksiyonunu değil aynı zamanda canlı ticaret API'lerini de içerir. Standart OpenAI spor salonu tarzı ortamlara göre yeniden yapılandırılırlar [5]. Dahası, piyasadaki anlaşmazlıkları da bünyesinde barındırır ve kullanıcıların işlem süresi ayrıntılarını özelleştirmesine olanak tanır.

Bu makalenin geri kalanı şu şekilde organize edilmiştir. Bölüm 2'de ilgili çalışmalar gözden geçirilmektedir. Bölüm 3 FinRL çerçevesini sunmaktadır. Bölüm 4, FinRL kullanılarak karşılaştırmalı ticaret görevlerini göstermektedir. Bu makaleyi Bölüm 5'te sonlandırıyoruz.