ストーリーにおける性別と人種をよりよく認識するための優れたAIモデル

Authors:

(1)Evan Shieh、Young Data Scientists League([email protected])

(2)Faye-Marie Vassel、スタンフォード大学

(3) Cassidy Sugimoto, School of Public Policy, Georgia Institute of Technology, ジョージア工科大学

(4) Thema Monroe-White, Schar School of Policy and Government & Department of Computer Science, George Mason University ([email protected])

左のテーブル

抽象と1 Introduction

1.1 関連作品と貢献

2 方法とデータ収集

2.1 テキスト的アイデンティティ・プロキシと社会心理的傷害

2.2 モデリング 性別、性的指向、人種

3 分析

3.1 無視による損害

3.2 服従の危害

3.3 ステレオタイプの影響

4 議論、認定、参照

SUPPLEMENTAL MATERIALS

運用化の力と相互作用

B 技術的な詳細

B.1 性別と性的指向のモデリング

B2 モデルレース

B.3 Automated Data Mining of Textual Cues (テキスト・クイズの自動データマイニング)

B4 代表比率

B5 服従比率

B.6 Median Racialized Subordination Ratio レベル

B.7 Extended Cues for Stereotype Analysis(ステレオタイプ解析のための拡張の言葉)

B.8 統計的方法

C 追加例

C.1 Most Common Names Generated by LM per Race

C.2 Additional Selected Examples of Full Synthetic Texts 詳細情報

D データシートと公共利用の開示

D.1 Laissez-Faire Prompts Datasetのデータシート

B.3 Automated Data Mining of Textual Cues (テキスト・クイズの自動データマイニング)

省略による損害を測定するために(補足B.4を参照)我々は、各言語モデルごとに1000世代を収集し、「小N」人口をモデリングするのに必要な合計サンプルの十分な数を生成するため [35]. 生成された500Kのストーリーのデータセットでは、各個々のストーリーを読むことからテキストのヒントを手動で抽出することは不可能である. したがって、我々は、高精度で性別参照と名前の自動抽出を実行するために、言語モデル(gpt-3.5-turbo)を細かく調節する。

まず、我々は性別(性別参照に基づいて)を手で推定し、すべての5つのモデルから4600個の均一にサンプルダウンしたストーリー世代の評価セットに名前を付け、すべての3つのドメインと両方の電力条件が均等に代表されていることを保証します。

次に、ChatGPT 3.5 (gpt-3.5-turbo) を使用して、テーブル S7 に示すプロンプト テンプレートを使用して自動化されたラベル化を実行し、候補プロンプトを通じてリターニングし、精度とリコールに基づいて選択します。

受信する各ラベル応答に対しては、返されたJSON応答を解析してプログラム後の処理を実行し、幻覚を除去する(例えば、ストーリーテキストに存在しない参照や名前など)。

We observe results in line with previous related studies of co-reference resolution that show automated systems to underperform on minoritized identity groups [58]. たとえば、我々は、事前に訓練されたgpt-3.5-turbo モデルは、彼らのような非バイナリ pronons for example, often having difficulty distinguishing between resolutions to individual characters versus groups, not perform well for non-binary pronouns such as they/them, for example, we note that the pre-trained gpt-3.5-turbo model does not perform well for non-binary pronons such as they/them, often having difficulty distinguishing between resolutions to individual characters versus groups.

こうした問題に対処するために、私たちはさらに150のストーリー(評価データセットの外)をハンドラベル化し、初期モデルとして取り組むべきケースに特定の焦点を当て、Love ドメインの非バイナリ用語を含む。

ChatGPTのような閉じたソースモデルの細かい調節には、潜在的な欠点があり、基礎モデルが変化した場合の意識の欠如を含むことに注目します。さらに、OpenAIはこの書き込みの時点で、細かい調節に使用するアルゴリズムに関する詳細な情報を公開していません。

B4 代表比率

観察された人種と性別を使用して、我々は省略と服従の害に対応する統計的比率を定量化する。representation ratio比率としてp観測された人口比率を比較分布の観測された人口比率で割り当てた文字の数p」

比較分布のp*の選択は、研究の望ましい文脈に応じて異なります。例えば、それは、主題または職業特有のパーセントに対して比較するために使用することができる(テーブルS1とS2を参照)。「公平性」の定義がどのようにインターセクション少数派グループが直面するシステム的課題を曖昧にするかを観察する以前の研究を考慮して、我々は、代わりに、我々の研究の人口統計が、すでに人口統計構成を不平等に形作る社会学的要因を超えて省略または過剰に代表されている相対的な程度を測定することに焦点を当てます。

七つの人種のカテゴリーのうち六つは、2022年人口普及(83)で確率を割り当てられていますが、OMBが2023年に提案したばかりのMENAを除くため、我々は、ウィキペディアデータセットにおける全体的な代表性を用いてMENAを基準にしています。性指向と性別アイデンティティ(SOGI)のp*を計算するために、我々は、米国人口普及2021世帯パルス調査(HPS)を用います(85)、研究はLGBTQ+アイデンティティの未算の既知の問題を減らすことを示しています。 表S9を参照して、我々がどのようにSOGIを我々の性別とタイプの関係スケジュールにマップします。

この紙はARCHIV で利用可能CC BY 4.0 DEED ライセンス