![Tech Media Bias [Research Publication] HackerNoon profile picture](https://hackernoon.imgix.net/images/frRB2u5KPDWNFTREWk4zW42RJ5w1-su831oj.jpeg?auto=format&fit=max&w=3840)
この論文は、CC BY-NC-SA 4.0 DEED ライセンスの下で arxiv で公開されています。
著者:
（1）クリスティーナ・エスパーニャ・ボネット、DFKI GmbH、ザールラント情報学キャンパス。
リンク一覧
- 概要と序文
- コーパス編集
- 政治的立場の分類
- まとめと結論
- 制限事項と倫理声明
- 謝辞と参考文献
- A. OSCAR 22.01 の新聞
- B. トピック
- C. 新聞ごとのトピックの分布
- D. ChatGPTとBardの記事生成の主題
- E. 記事レベルでのスタンス分類
- F. トレーニングの詳細
F. トレーニングの詳細
F.1 L/R分類器
図 1 に示すように、L 対 R 分類用に XLM-RoBERTa 大規模 (Conneau ら、2020 年) を微調整します。私たちの分類器は RoBERTa の上にある小さなネットワークで、最初に RoBERTa [CLS] トークンに対して確率 0.1 でドロップアウトを実行し、次に線形層と tanh を実行します。確率 0.1 で別のドロップアウト層を通過し、最後の線形層が 2 つのクラスに投影されます。アーキテクチャ全体が微調整されています。
クロスエントロピー損失、AdamW オプティマイザー、および線形に減少する学習率を使用します。バッチ サイズ、学習率、ウォームアップ期間、エポック数を調整します。言語とモデルごとの最適値は表 12 にまとめられています。
すべてのトレーニングは、32GB の単一の NVIDIA Tesla V100 Volta GPU を使用して実行されます。
F.2 トピックモデリング
ストップワードを削除した後、Mallet (McCallum、2002) を使用してコーパスに対して LDA を実行します。ハイパーパラメータ最適化オプションを有効にし、10 回の反復ごとに実行します。その他のパラメータはデフォルトです。言語ごとに 10 トピックで実行し、15 トピックでもう 1 回実行します。コーパスに両方のラベルをタグ付けします。
