Mehrsprachige grobe politische Standpunktklassifizierung von Medien: Zusammenfassung und Einführung

Linktabelle

• Zusammenfassung und Einleitung
• Korpora-Zusammenstellung
• Klassifizierung der politischen Haltung
• Zusammenfassung und Fazit
• Einschränkungen und Ethikerklärung
• Danksagungen und Referenzen
• A. Zeitungen in OSCAR 22.01
• B. Themen
• C. Themenverteilung pro Zeitung
• D. Themen für die ChatGPT- und Bard-Artikelgenerierung
• E. Standpunktklassifizierung auf Artikelebene
• F. Schulungsdetails

Abstrakt

Neutralität ist schwer zu erreichen und in der Politik subjektiv. Traditionelle Medien übernehmen typischerweise eine redaktionelle Linie, die von ihren potenziellen Lesern als Indikator für die Medienvoreingenommenheit verwendet werden kann. Mehrere Plattformen bewerten derzeit Nachrichtenagenturen nach ihrer politischen Voreingenommenheit. Die redaktionelle Linie und die Bewertungen helfen den Lesern, sich eine ausgewogene Sicht auf die Nachrichten zu verschaffen. Doch mit dem Aufkommen von anweisungenbasierten Sprachmodellen können Aufgaben wie das Schreiben eines Zeitungsartikels an Computer delegiert werden. Wo würde eine KI-basierte Nachrichtenagentur innerhalb der Voreingenommenheitsbewertungen liegen, ohne eine voreingenommene Persona aufzuzwingen? In dieser Arbeit verwenden wir die Bewertungen authentischer Nachrichtenagenturen, um ein mehrsprachiges Nachrichtenkorpus mit groben Haltungsanmerkungen (Links und Rechts) sowie automatisch extrahierten Themenanmerkungen zu erstellen. Wir zeigen, dass mit diesen Daten trainierte Klassifikatoren in der Lage sind, die redaktionelle Linie der meisten unbekannten Zeitungen auf Englisch, Deutsch, Spanisch und Katalanisch zu identifizieren. Anschließend wenden wir die Klassifikatoren auf 101 zeitungsähnliche Artikel an, die von ChatGPT und Bard in den 4 Sprachen zu verschiedenen Zeitpunkten geschrieben wurden. Wir stellen fest, dass sich die redaktionelle Linie von ChatGPT ähnlich wie bei herkömmlichen Zeitungen mit der Zeit weiterentwickelt und dass sich die Ausrichtung der generierten Artikel – da es sich um ein datengesteuertes System handelt – zwischen den Sprachen unterscheidet.

1. Einleitung

Anweisungsfolgende Sprachmodelle (ILMs) sind allgegenwärtig. Ihre Verwendung ist noch nicht so weit verbreitet wie die von Suchmaschinen, aber aufgrund der Verfügbarkeit und hohen Qualität von Systemen und Modellen wie Alpaca (Taori et al., 2023), Bard (Google, 2023), BLOOMZ und mT0 (Muennighoff et al., 2023), ChatGPT (OpenAI, 2023), Llama 2-chat (Touvron et al., 2023) oder Koala (Geng et al., 2023) wird erwartet, dass ihre Verwendung in naher Zukunft weiter verbreitet sein wird. Diese Modelle sind mit mehreren Problemen konfrontiert, von denen das wichtigste die mangelnde Vertrauenswürdigkeit ist (van Dis et al., 2023; Huang et al., 2023; Wang et al., 2023a). Sie sind nicht bereit, als Quelle zuverlässiger Informationen verwendet zu werden, wenn ihre Ergebnisse nicht auf Fakten überprüft werden. Ein zweites großes Problem bei Systemen, die auf Sprachmodellen (LM) basieren, ist die Tatsache, dass sie die in den Trainingsdaten vorhandenen Verzerrungen reproduzieren können (Navigli et al., 2023). Die Verzerrungen reichen von kultureller Fehldarstellung aufgrund von Datenungleichgewichten bis hin zu beleidigendem Verhalten, das aus geschriebenen Texten reproduziert wird. LMs werden entweder auf überwachte Weise mithilfe von Input-Output-Paaren und einer Anweisung (Wei et al., 2022; Wang et al., 2022, 2023b) oder durch Verstärkungslernen aus menschlichem Feedback (Ouyang et al., 2022; Nakano et al., 2021) in ILMs feinabgestimmt. In beiden Fällen sollte die Feinabstimmung dazu beitragen, Verzerrungen zu beseitigen. Neutralität ist jedoch sehr schwer zu erreichen, auch für die Menschen, die die Überwachungsdaten generieren. Die Feinabstimmungsphase könnte daher die ursprünglichen Verzerrungen überkorrigieren oder neue einführen. Bei Methoden, die die Überwachungsdaten mit dem LM selbst generieren, könnten die ursprünglichen Verzerrungen übernommen werden. Wir konzentrieren uns auf eine spezielle Anwendung von ILMs: das Schreiben von Zeitungsartikeln. Zeitschriften und Zeitungen folgen einer redaktionellen Linie, die dem Leser im Allgemeinen bekannt ist. Darüber hinaus bieten Websites wie AllSides [1], Media Bias Fact Check [2] (MB/FC) oder Ad Fontes Media [3] Bewertungen über die politische Voreingenommenheit von (meist US-amerikanischen) Medienquellen und ihre Qualität im Hinblick auf sachliche Informationen. Mit diesen Bewertungen können gewissenhafte Leser fundierte Entscheidungen darüber treffen, welche Medien sie wählen, um eine ausgewogene Perspektive zu erhalten. Aber was passiert, wenn Journalisten Systeme wie ChatGPT oder Bard als Hilfe beim Schreiben verwenden? Wie oben erwähnt, haben auch Menschen Vorurteile. Die Gefahr besteht darin, sich ihrer nicht bewusst zu sein, da sie die Perspektive des Benutzers/Lesers beeinflussen könnten (Jakesch et al., 2023; Carroll et al., 2023). ChatGPT warnt seine Benutzer bereits vor Fehlinformationen. Die politische Voreingenommenheit, falls vorhanden, ist jedoch nicht bekannt, abgesehen von der subjektiven Wahrnehmung eines Benutzers.

Wir gehen der obigen Frage für Artikel nach, die von ChatGPT und Bard in vier Sprachen generiert wurden: Englisch, Deutsch, Spanisch und Katalanisch. Wir tun dies auf automatische und systematische Weise, fast ohne menschliches Eingreifen, sodass die Methode mit wenig Aufwand leicht auf neue Sprachen und andere ILMs ausgeweitet werden kann. Unser Ziel ist es nicht, einzelne Artikel anhand ihrer spezifischen Tendenz zu klassifizieren, sondern die Medienquelle (in diesem Fall ein ILM) als links- oder rechtsorientiert zu klassifizieren, ähnlich wie es die Websites mit Medienvoreingenommenheit für Zeitungen und andere Medien tun.

1. https://www.allsides.com

2. https://mediabiasfactcheck.com

3. https://adfontesmedia.com