コンセンサス方式は、高精度を確保し、ラベル付けの主観性を減らす必要がある場合、データ注釈付けにおいて重要な役割を果たします。Keymakr の経験に基づくと、特定のケースで複数の専門家によるコンセンサス アプローチを実装すると、注釈付けエラーを 30～50% 削減できます。コンセンサスは、間違いを最小限に抑え、品質管理を自動化し、ベンチマーク データセットの作成に役立ちます。これは、医療や自動運転などの責任の重い分野で特に重要です。
Keymakrのテクニカル ソリューション アーキテクトである Tatiana Verbitskaya が、この方法の仕組みと、それがうまく適用されたプロジェクトについて語ります。
仕組み
コンセンサスは、複数の専門家の意見を集めることで達成されます。「グラウンドトゥルース」データを定義する際には、合意された精度基準を確立することが重要です。コンセンサスは、色や形などの主観的なデータでモデルをトレーニングする場合や、高い精度が求められる場合に重要です。この方法は、モデルが十分なデータでトレーニングされていない初期段階や、特に特定のケース（主観的な判断など）で追加のトレーニングが必要な場合に積極的に使用されます。さらに、自動運転車のデータへの注釈付けや交通機関の監視などの大規模プロジェクトでは、コンセンサスによって精度が向上し、エラーが削減されるため、コンセンサスは非常に重要です。
コンセンサスの主な原則:
- 奇数の専門家: デッドロックを回避するために、コンセンサスは奇数の注釈者に依存し、意見の相違がある場合でも最終的な結果が得られるようにします。
- 不一致分析: この方法は、多数決に頼るだけでなく、不一致の頻度も考慮します。不一致が大きすぎる場合は、データが追加レビューの対象としてフラグ付けされるか、モデルのトレーニングに使用されないこともあります。
- エラー検出メカニズム: 事例が主観的すぎて決定的でない場合は、コンセンサスに基づくデータであってもエラーが含まれる可能性があります。
Google、Tesla、Amazon、Meta などの世界的なテクノロジー リーダーは、AI モデルのパフォーマンスを向上させるために、コンセンサス ベースの注釈を積極的に使用しています。たとえば、Google Health は、X 線に複数の放射線科医の注釈を適用して、診断の精度を高めています。Tesla は、オートパイロット カメラのデータにラベルを付ける際にコンセンサスを使用し、自動運転のトレーニング エラーを削減しています。Amazon SageMaker Ground Truth は、NLP、コンピューター ビジョン、衛星画像分析にコンセンサス注釈を組み込んでおり、Meta は顔認識および物体認識プロジェクトにそれを採用しています。
医療コンセンサス: 注釈評議会
コンセンサスの最も重要な応用例の 1 つは、病気の診断のための医療画像注釈です。専門家によると、放射線科医の診断は 20～30% も異なる場合があり、患者の転帰に直接影響を及ぼします。コンセンサスに基づくアプローチ (複数の放射線科医が個別に画像に注釈を付け、その入力を専門知識の重み付けスコアに基づいて集計する) を採用すると、注釈の精度が最大 40% 向上します。
Keymakr は、このアプローチを複雑な医療プロジェクトに積極的に適用しています。その結果、複雑な病状を検出するようにトレーニングされた AI モデルの画像ラベル付けの精度が向上します。ここでは、複数の専門家の意見を比較し、矛盾を特定し、高精度のデータセットを形成できるKeylabsプラットフォームを使用してプロセスが構築されています。このアプローチにより、自動診断で使用されるアルゴリズムの信頼性が大幅に向上し、誤診のリスクが最小限に抑えられます。
著作権コンテンツ利用監視に関するコンセンサス
現在、 Keymakr は、著作権で保護された音楽の使用を識別する自動音楽認識テクノロジーを展開する企業であるSoundAwareと提携しています。チームは 10,000 個の URL をレビューして、著作権で保護された素材の存在を評価します。
動画プラットフォームには、音楽、映画のシーン、テレビ番組の断片など、著作者の素材を含む可能性のあるコンテンツが満載されています。膨大なデータ量と著作権の解釈の主観的な性質のため、各動画を手動で分析することは現実的ではありません。
ただし、Keymakr は、著作権で保護されたコンテンツが、自動システムではまだ確実に検出できない方法で使用または変更されているケースを特定します。これには、パロディ、ファンアート、オマージュが含まれます。
主観性を排除するために、Keymakr はコンセンサスベースのアプローチを採用しています。各ビデオは複数の独立した専門家によって評価され、次の質問に答えます。
- ビデオには著作権で保護された音楽が含まれていますか?
- 映画やテレビ番組のシーンが取り上げられていますか?
- 編集やリミックスなどによりコンテンツが変更されましたか?
専門家の回答に基づいて、潜在的な著作権の問題に関する最終決定が下されます。
このようなプロジェクトは、著作権を執行し、権利保有者が正当な補償を受けられるようにするために不可欠です。さらに、このプロセスは、コンテンツ監視を専門とする企業がアルゴリズムを改良し、著作権で保護されたコンテンツの検出を加速するのに役立ちます。
車両と歩行者の追跡に関するコンセンサス
コンセンサスは、自律走行車の AI トレーニング、特に道路上の物体認識 (他の車両、歩行者、交通標識など) にも広く適用されています。たとえば、カメラが動いている歩行者を捉えた場合、人間のアノテーターがその物体が人なのか影なのかで意見が一致しないことがあります。コンセンサスは、このようなシナリオで正確なラベル付けを保証します。
Keymakrチームは最近、車両を追跡するためにカメラで録画されたビデオの分析に取り組みました。交差点にある複数のカメラを通じて車両の動きを追跡し、システムが異なるフレームで同じ車両を正しく識別することを確認する必要がありました。
カメラは複数の地点で 1 つの物体 (車) を記録しました。複数の専門家が、異なるカメラからビデオを視聴しました。外観の認識には違いがある可能性があるため (色やブランドなど)、専門家たちはこの物体が同じ車であるかどうかを評価しました。5 人のアノテーターが物体の身元を確認した場合、その情報はモデルのトレーニングに使用されました。そうでない場合、そのようなデータはデータセットから除外されます。これにより、誤報の数が減り、都市の安全システムや自動交通管制システムにとって重要な車認識システムの精度が向上しました。
同じアプローチは、ショッピングモールや路上で人々を識別する場合にも適用できます。カメラは、たとえば服の色、身長、その他の特徴を分析して動きを捉えます。この方法は、次の目的で使用されます。
- 強化されたセキュリティ監視
- 犯罪防止
- 小売店訪問者の行動分析
- 公共エリアにおける群衆の流れの評価
AIにおけるコンセンサスの未来
コンセンサスベースのデータ注釈の将来は有望であり、特に AI モデルがより複雑になり、データ量が増加するにつれて、その可能性はさらに高まります。世界のデータ注釈およびラベル付け市場は 2027 年までに 36 億ドルに達すると予測されており、多くの企業がデータ品質を向上させるために多層注釈検証を採用しています。研究によると、コンセンサス注釈付きのデータセットでトレーニングされたモデルは、単一ソースのラベル付けでトレーニングされたモデルよりも大幅に高い精度を示しています。
自動注釈や生成 AI が発達したにもかかわらず、主観や注釈の不一致により多段階の検証が必要となるなど、人的要因が依然として重要です。そのため、コンセンサス方式は今後も使用され、自律システム、医療、金融分析などの重要な分野でデータの信頼性を確保し、エラーを削減します。
