Medyanın Çok Dilli Kaba Siyasi Duruş Sınıflandırması: Özet ve Giriş

Bağlantı Tablosu

• Özet ve Giriş
• Corpora Derlemesi
• Siyasi Duruş Sınıflandırması
• Özet ve sonuçlar
• Sınırlamalar ve Etik Beyanı
• Teşekkür ve Referanslar
• A. OSCAR 22.01'deki Gazeteler
• B. Konular
• C. Gazetelere Göre Konu Dağılımı
• D. ChatGPT ve Bard Makale Oluşturma Konuları
• E. Makale Düzeyinde Duruş Sınıflandırması
• F. Eğitim Detayları

Soyut

Tarafsızlığı başarmak zordur ve siyasette özneldir. Geleneksel medya tipik olarak potansiyel okuyucuları tarafından medya önyargısının bir göstergesi olarak kullanılabilecek bir editoryal çizgiyi benimser. Şu anda birçok platform haber kuruluşlarını siyasi önyargılarına göre derecelendiriyor. Editoryal çizgi ve derecelendirmeler okuyucuların haberlere ilişkin dengeli bir bakış açısı kazanmalarına yardımcı olur. Ancak talimat takip eden dil modellerinin ortaya çıkmasıyla birlikte, gazete makalesi yazmak gibi görevler bilgisayarlara devredilebilir. Önyargılı bir kişiliği empoze etmeden yapay zeka tabanlı bir haber kaynağı önyargı derecelendirmelerinin neresinde yer alabilir? Bu çalışmada, otomatik olarak çıkarılan konu açıklamalarının yanı sıra kaba duruş açıklamalarına (Sol ve Sağ) sahip çok dilli bir haber külliyatı oluşturmak için orijinal haber kaynaklarının derecelendirmelerini kullanıyoruz. Bu verilerle eğitilen sınıflandırıcıların, İngilizce, Almanca, İspanyolca ve Katalanca dillerinde yayınlanmayan çoğu gazetenin editoryal çizgisini tespit edebildiğini gösteriyoruz. Daha sonra sınıflandırıcıları ChatGPT ve Bard tarafından 4 dilde farklı zaman dilimlerinde yazılan 101 gazete benzeri makaleye uyguluyoruz. Geleneksel gazetelere benzer şekilde ChatGPT'nin editoryal çizgisinin zamanla geliştiğini ve veri odaklı bir sistem olduğundan üretilen makalelerin duruşunun diller arasında farklılık gösterdiğini gözlemliyoruz.

1. Giriş

Talimatı takip eden dil modelleri (ILM'ler) her yerde mevcuttur. Kullanımları henüz arama motorları kadar yaygın değildir ancak Alpaca (Taori ve diğerleri, 2023), Bard (Google, 2023), BLOOMZ ve mT0 (Muennighoff ve diğerleri) gibi sistem ve modellerin bulunabilirliği ve yüksek kalitesi nedeniyle diğerleri, 2023), ChatGPT (OpenAI, 2023), Llama 2-chat (Touvron ve diğerleri, 2023) veya Koala (Geng ve diğerleri, 2023), bunların kullanımının yakın gelecekte daha yaygın olması bekleniyor. Bu modeller, en alakalı olanı güvenilirlik eksikliği olmak üzere çeşitli sorunlarla karşı karşıyadır (van Dis ve diğerleri, 2023; Huang ve diğerleri, 2023; Wang ve diğerleri, 2023a). Çıktılarının doğruluğunun kontrol edilmemesi durumunda güvenilir bilgi kaynağı olarak kullanılmaya hazır değillerdir. Dil modellerine (LM) dayalı sistemlerle ilgili ikinci büyük sorun, eğitim verilerinde mevcut önyargıları yeniden üretebilmeleridir (Navigli ve diğerleri, 2023). Önyargılar, veri dengesizliğinden kaynaklanan kültürel yanlış temsillerden, yazılı metinlerden üretilen rahatsız edici davranışlara kadar çeşitlilik göstermektedir. LM'ler, girdi-çıktı çiftleri ve bir talimat kullanılarak denetimli bir şekilde (Wei ve diğerleri, 2022; Wang ve diğerleri, 2022, 2023b) veya insan geri bildiriminden takviyeli öğrenmeyle (Ouyang ve diğerleri, 2022;) ILM'lere ince ayar yapılır. Nakano ve diğerleri, 2021). Her iki durumda da ince ayar önyargının ortadan kaldırılmasına yardımcı olacaktır. Ancak tarafsızlık, denetleyici verileri üreten insanlar için de başarılması çok zor bir şeydir. Bu nedenle ince ayar aşaması orijinal önyargıları aşırı düzeltebilir veya yenilerini getirebilir. Denetim verilerini LM'nin kendisiyle üreten yöntemler için orijinal önyargılar devralınabilir. ILM'lerin belirli bir kullanımına odaklanıyoruz: gazete makalelerinin yazılması. Dergiler ve gazeteler genel olarak okuyucunun bildiği bir editoryal çizgiyi takip eder. Ayrıca, AllSides [1] Media Bias Fact Check [2] (MB/FC) veya Ad Fontes Media [3] gibi siteler, (çoğunlukla ABD) medya kaynaklarının siyasi önyargıları ve bunların gerçek bilgilere ilişkin kalitesi hakkında derecelendirmeler sağlar. Bu derecelendirmelerle dikkatli okuyucular, dengeli bir bakış açısı elde etmek için hangi medya kuruluşlarını seçecekleri konusunda bilinçli kararlar verebilir. Peki gazeteciler yazılarına yardımcı olmak için ChatGPT veya Bard gibi sistemleri kullandıklarında ne olur? Yukarıda belirtildiği gibi, insanların da önyargıları vardır; tehlike, kullanıcının/okuyucunun bakış açısını etkileyebileceğinden bunların farkında olmamaktır (Jakesch ve diğerleri, 2023; Carroll ve diğerleri, 2023). ChatGPT zaten kullanıcılarını yanlış bilgilendirme konusunda uyarıyor. Ancak, eğer varsa, politik önyargı, kullanıcının sahip olduğu subjektif algı dışında bilinmemektedir.

Yukarıdaki soruyu ChatGPT ve Bard tarafından dört dilde oluşturulan makaleler için ele alıyoruz: İngilizce, Almanca, İspanyolca ve Katalanca. Bunu neredeyse hiç insan müdahalesi olmadan otomatik ve sistematik bir şekilde yapıyoruz, böylece yöntem çok az çabayla kolayca yeni dillere ve diğer ILM'lere genişletilebilir. Bireysel makaleleri belirli önyargılarıyla sınıflandırmayı değil, medya kaynağını (bu durumda bir ILM) medya önyargılı sitelerin gazeteler ve diğer medya kuruluşları için yaptığına benzer şekilde Sol veya Sağ odaklı olarak sınıflandırmayı hedefliyoruz.

1. https://www.allsides.com

2. https://mediabiasfactcheck.com

3. https://adfontesmedia.com