タスク分解による映画予告編生成: モデルの詳細

に Kinetograph: The Video Editing Technology Publication3m2024/06/07

長すぎる; 読むには

この論文では、研究者らが映画をグラフとしてモデル化して予告編を生成し、物語の構造を識別して感情を予測し、教師あり手法を上回っています。

featured image - タスク分解による映画予告編生成: モデルの詳細

著者:

（１）ピネロピ・パパランピディ、エディンバラ大学情報学部言語・認知・計算研究所

（２）フランク・ケラー、エディンバラ大学情報学部言語・認知・計算研究所

（３）ミレラ・ラパタ、エディンバラ大学情報学部言語・認知・計算研究所

リンク一覧

A. モデルの詳細

このセクションでは、私たちのアプローチのさまざまなモデリングコンポーネントについて詳しく説明します。まず、GRAPHTRAILER アーキテクチャの詳細 (セクション A.1) を説明し、次に TP 識別ネットワークのトレーニング方法 (セクション A.2) について説明し、最後に脚本の事前トレーニング (A.3) とグラフトラバーサルに使用される感情フロー (A.4) に関する技術的な詳細を説明します。

A.1. グラフトレーラー

我々は、StraightThrough Estimator [7]を利用して、モデルの不連続性（すなわち、トップkサンプリング、近傍サイズ選択）に対処します。逆方向パスでは、Gumbel-softmax再パラメータ化トリック[25, 32]を使用して勾配を計算します。補助的な脚本ベースのネットワークでシーンレベルのグラフを構築およびスパース化する場合も同じ手順に従います。

A.2. TP識別に関するトレーニング

セクション 3 では、シーンの TP ラベル (つまり、シーンが映画の TP として機能するかどうかを示すバイナリラベル) が利用可能であると仮定して、ビデオおよび脚本ベースのモデルのトレーニング方法を示します。このようなラベルが与えられた場合、モデルは、少数のホットゴールドラベルとネットワークの TP 予測の間のバイナリクロスエントロピー損失 (BCE) 目標を使用してトレーニングされます。

しかし、実際には、私たちのトレーニングセットにはシーンのシルバースタンダードラベルが含まれています。後者はTRIPOD [41]データセットと一緒にリリースされ、自動的に作成されました。具体的には、TRIPODは、概要文がTPを代表するという仮定の下、概要（脚本ではない）のゴールドスタンダードTP注釈を提供します。そして、文レベルの注釈は、教師強制[41]でトレーニングされたマッチングモデルを使用してシーンに投影され、シルバースタンダードラベルを作成します。

A.3. 自己教師あり事前トレーニング

A.4. GRAPHTRAILER における感情フロー

グラフトラバーサルアルゴリズム（セクション3.1）で次のショットを選択するための基準の1つは、これまでに生成された予告編の感情の流れです。具体的には、予告編は感情の強さに基づいて3つのセクションに分割されるという仮説[9]を採用しています。最初のセクションは視聴者を引き付けるために中程度の強度を持ち、2番目のセクションは映画に関する重要な情報を伝えるために低い強度を持ち、最後に3番目のセクションはクリフハンガーと映画への興奮を生み出すために徐々に高い強度を表示します。

したがって、トレーラーショットの予算が L 個ある場合、最初の L/3 ショットはセクション内で大きな変動がなく、中程度の強度を持つことが期待されます (たとえば、平均絶対強度が 0.7 に近いショットが必要で、すべてのスコアは -1 から 1 の範囲に正規化されます)。トレーラーの 2 番目の部分 (つまり、次の L/3 ショット) では、強度が急激に低下し、このセクション内のショットは多かれ少なかれ中立的な感情 (つまり、強度 0) を維持することが期待されます。最後に、3 番目のセクション (つまり、最後の L/3 ショット) では、強度が着実に増加することが期待されます。実際には、最初のショットの強度は 0.7 (つまり、中程度の強度) であり、最後のショットでピークに達するまで、後続のショットごとに 0.1 ずつ増加すると予想されます。