スマートフォンを実際に活用できるAIをご紹介します

リンク一覧

• 要約と1 はじめに
• 2 関連研究
• 3 MMナビゲーター
• 3.1 問題の定式化と 3.2 マークのセットによるスクリーングラウンディングとナビゲーション
• 3.3 マルチモーダル自己要約による履歴生成
• 4 iOS 画面ナビゲーション実験
• 4.1 実験のセットアップ
• 4.2 意図するアクションの説明
• 4.3 ローカライズされたアクションの実行と 4.4 GPT-4V の現在の状態
• 5 Android 画面ナビゲーション実験
• 5.1 実験のセットアップ
• 5.2 パフォーマンス比較
• 5.3 アブレーション研究
• 5.4 エラー分析
• 6 議論
• 7 結論と参考文献

2 関連研究

自律的な GUI ナビゲーション。自律的な GUI ナビゲーションでは、モデルが指示に従って、Web サイトやアプリケーションなどのさまざまなグラフィカル ユーザー インターフェイスを操作し、ユーザーが問い合わせたタスクを実行します。現在のベンチマークでは、合成または実際のユーザー生成の指示を収集して、特定の UI 要素を識別するモデルの能力 (Shi ら、2017 年、Li ら、2020 年、Bai ら、2021 年)、または一連の GUI ビューを操作して包括的なタスク目標を達成するモデルの能力 (Li ら、2020 年、Burns ら、2021 年、Venkatesh ら、2022 年、Deng ら、2023 年、Rawles ら、2023 年) を評価しました。これらの GUI ビューからの視覚情報を理解するために、ある研究では、マルチモーダル入力を処理できるモデル構造を採用しています (Sun et al., 2022; Redmon et al., 2016)。他の方法では、UI シーンのテキストとアイコンをテキストのみの HTML 形式に変換することに重点を置いています。たとえば、単一モジュール LLM は、GUI ナビゲーション用にこれらのテキスト入力を処理できます (Zhang et al., 2021; Rawles et al., 2023; Wen et al., 2023)。

マルチモーダルエージェント。 LLM の最近の進歩 (Brown et al., 2020; OpenAI, 2023a; Chowdhery et al., 2022; Anil et al., 2023; Touvron et al., 2023; Hoffmann et al., 2022) は、LLM ベースのエージェント システムの探求を促進しました (Madaan et al., 2022)。 al., 2023; Shinn et al., 2023; Pan et al., 2023; Yao et al., 2022; Schick et al., 2023; Paranjape et al., 2023; Pryzant et al., 2023; Guo et al., 2023; Zhao et al., 2023; Yang et al., 2023a)、推論を統合します。マルチモーダルは、さまざまな複雑な言語タスクに対応するロジックと外部ツールを備えています。NLP ドメインでの成功に触発され、マルチモーダル研究者はマルチモーダル エージェントの研究に取り組んでいます。この研究は、高度な視覚的推論のための MM-ReAct (Yang* et al., 2023) や反復的な視覚生成と編集のための Visual ChatGPT (Wu et al., 2023) などの LLM ベースのマルチモーダル エージェント (Gupta and Kembhavi, 2023; Surís et al., 2023; Wu et al., 2023; Yang* et al., 2023; Shen et al., 2023; Lu et al., 2023; Yu et al., 2023; Li et al., 2023) から始まります。 LMM の急速な進歩 (Alayrac et al., 2022; Driess et al., 2023; OpenAI, 2023a,b,c; gpt, 2023; Yang et al., 2023c; Google, 2023) に後押しされて、最新の研究では LMM を利用したマルチモーダル エージェント (Yang et al., 2023; Liu et al., 2023) の調査が開始され、キャプション モデル (Wang et al., 2022a; Wu et al., 2022) などの基本的な視覚的記述ツールの必要性がなくなりました。私たちが提案する方法論は、GUI ナビゲーションに特化した LMM ベースのエージェントを表しています。私たちは、このタスクのための包括的な分析と強力なベースラインを提供することを目指しています。