Проверка глубины эмпатии ИИ: основы и проблемы

Поиск в Google Scholar по запросу « эмпатический ИИ » дает более 16 000 элементов с 2023 года. Поиск по таким фразам, как «тестирование чуткого ИИ» и «оценка чуткого ИИ», сокращает этот набор примерно до 12 000 элементов. Множество титулов, которые нужно пройти! Я, конечно, не могу утверждать, что прочитал их все или даже просмотрел каждое название, но вот мои мысли.

1. У нас должно быть общее определение эмпатии.
2. Мы должны согласиться игнорировать вопрос: «Может ли ИИ на самом деле чувствовать?» и просто сосредоточьтесь на том, как мы интерпретируем то, что генерирует ИИ, т.е. если бы ИИ был человеком, как бы мы чувствовали или думали, что человек думает или чувствует? (Ух ты, это немного гимнастики).
3. Мы должны различать идентификацию эмоций, идентификацию сочувствия, генерирование эмпатических реакций и участие в диалогах с эмпатией.
4. Мы должны принять во внимание богатую историю тестирования эмоциональных и эмпатических способностей людей, одновременно признавая, чем ИИ отличаются, чтобы исторические тесты можно было применять, потенциально модифицировать и оценивать соответствующим образом.
5. Мы должны понимать существующие системы оценки, адаптированные к ИИ.
6. Мы должны разработать новые рамки и подходы.

Что такое эмпатия?

Чтобы устранить потенциальные проблемы, связанные с «переживанием» в контексте LLM, я перефразирую это как действие понимания, осознания, чувствительности и видимости опосредованного переживания чувств, мыслей и опыта другого человека .

И, конечно, если нас интересует разговор, мы бы добавили: «И, проявив это таким образом, чтобы другие участники разговора знали о действии». Конечно, социопат также может появиться и проявиться таким образом , поэтому я сделаю одну последнюю поправку.

Эмпатия – это:

Действие понимания, осознания, позитивной чувствительности и видимости опосредованного переживания чувств, мыслей и опыта другого человека . И это проявляется таким образом, что другие участники разговора знают об этом действии.

При рассмотрении этого и исходного определения становятся очевидными два компонента эмпатии: аффективный и когнитивный.

1. Аффективный компонент относится к эмоциональной или чувственной части эмпатии. Это способность делиться или отражать чувства другого человека. Например, если другу грустно, аффективная часть вашего сочувствия может заставить вас тоже почувствовать грусть или, по крайней мере, почувствовать его печаль.

   
   

2. С другой стороны, когнитивный компонент относится к ментальной или мыслительной части эмпатии. Это способность активно распознавать и понимать очереди, чтобы мысленно поставить себя на место другого человека. Например, если коллега усталым голосом (очередь) рассказывает вам о сложном проекте, над которым он работает (очередь), вы можете попытаться понять его стресс, активно представляя, как бы вы себя чувствовали в аналогичной ситуации. . Для некоторых это может искусственно вызвать эффект.

Могут ли ИИ чувствовать?

На этом этапе большинство людей сказали бы, что у ИИ нет чувств. Некоторые предсказывают будущее, в котором у ИИ есть чувства, а другие, где у ИИ нет и не могут быть чувства, а третья группа может сказать: «ИИ чувствуют/будут чувствовать, но иначе, чем люди».

В любом случае, мы не добьемся прогресса в тестировании ИИ на эмпатию, если будем тратить время на обсуждение этой темы. Мы должны сосредоточиться на интерпретации того, что проявляют ИИ, а не на их внутреннем состоянии. Хотя на эту тему было проведено несколько интересных исследований, см. «Эмоционально онемевший или чуткий?» Оценка того, как чувствуют себя студенты, имеющие степень магистра права, с помощью EmotionBench .

Если вы не можете преодолеть это препятствие, я предлагаю вам просто игнорировать тесты на этом сайте. Тем не менее, вам все равно могут понравиться статьи и беседы!

Идентификация против генерации

Между определением чего-либо и выполнением чего-либо происходит большой скачок. Молодые спортсмены или ученые могут определить, что не так с их результатами, но не имеют возможности сразу же выступать на более высоком уровне. Аналогичным образом, способность распознавать эмоции и вести чуткий разговор — это не то же самое, что способность проявлять эмоции и генерировать ответы, которые другая сторона интерпретировала бы как эмпатические. На самом деле, между ними есть даже шаг. Молодые спортсмены или ученые, прислушивающиеся к советам тренера или учителя и в данный момент добивающиеся лучших результатов, не делают их полностью способными. Если ИИ производит эмпатический результат как побочный эффект дизайна теста или подсказки, то у ИИ может быть зарождающаяся способность к эмпатии, но он не является эмпатическим по своей сути.

Хотя полностью понять внутреннее состояние ИИ может оказаться невозможным, я верю, что идентификация эмоций является необходимым условием для того, чтобы ИИ проявлял сочувствие. Я также считаю, что способность подсказать/научить ИИ давать эмпатический ответ является показателем зарождающейся способности, то есть точная настройка (эквивалент человеческой практики) может создать эту способность.

Различия между идентификацией и генерацией , а также обучением и внутренними важными для обсуждения эффективности тестов и сред тестирования, выходящих за рамки этой статьи.

Идентификация

Выявление эмоций в текстовом содержании основано на наличии слов-индикаторов, заглавных букв, пунктуации и грамматического строя. Способность точно определять настроения возникла более чем на двадцать лет раньше нынешней революции искусственного интеллекта. В 1990-е годы пересечения слов-н-грамм и символические рассуждения уже давали впечатляющие результаты. По мере роста социальных сетей в начале 2000-х годов потребность в автоматической модерации привела к значительному прогрессу в этой области. Однако сегодняшние степени магистра права поражают своей способностью определять не только общие настроения, но и конкретные эмоции.

При этом существует несколько типов идентификации выражения эмоций, необходимых для полностью эмпатического разговора, я классифицирую их следующим образом:

• явный — пользователь заявляет, что у него есть ощущение.

• разговорный — эмоции очевидны из текстового анализа верхнего уровня, они присутствуют В разговоре.

• вождение — Эмоции ДВИЖУТ разговором, один человек выражает гнев, а другой отвечает тем же.

• Ядро. Эмоции, которые вызывают другие эмоции, но сами не вызваны эмоциями, являются ОСНОВНЫМИ. Обычно они проявляются в результате какого-то исторического триггера, вызывающего предвкушение (сознательное или подсознательное) будущего. Разные исследователи могут классифицировать их по-разному. Одним из примеров, поддерживаемых Далиа-ламой, являются Пять континентов эмоций (гнев, страх, отвращение, печаль, удовольствие) в Атласе эмоций .

  
  

Рекомендации по тестированию

Классическое тестирование человека на идентификацию эмоций обычно делится на две группы, чтобы облегчить тестирование и проверку:

1. Тесты с множественным выбором о том, какие эмоции присутствуют или отсутствуют в разговоре, иногда связанные с оценкой интенсивности.

2. Самостоятельные интроспективные тесты на чувства, например EQ-60 , в которых спрашивают, что испытуемый чувствует в определенных ситуациях.

   
   

Это создает определенные проблемы для высококачественного тестирования ИИ.

• Тесты с множественным выбором . Сегодняшние ИИ , как языковые модели сопоставления с образцом, эффективно получают преимущество, предоставляя им выбор элементов для идентификации. Это упрощает работу и не проверяет способность ИИ всегда распознавать эмоции. Потенциально лучший подход — просто попросить ИИ идентифицировать все эмоции, присутствующие в тексте, и за кулисами оценить их либо по основной истине (не уверен, что такое есть с эмоциями :-), либо по ключу, основанному на статистическом анализе. человеческих реакций на один и тот же тест. Оценивая предлагаемые тесты в будущем, я называю это риском множественного выбора . Однако статистическая выборка людей может представлять дополнительный риск. Предположим, вы хотите создать ИИ, который лучше среднего человека. Для этого может потребоваться убедиться, что статистическая выборка основана на людях, которые обладают более сильной, чем в среднем, способностью распознавать эмоции; в противном случае ИИ может идентифицировать эмоции, которые средний человек не распознает, и может быть оштрафован при подсчете очков. Я называю это риском отбора проб у человека .

  
  

• Интроспективные тесты . Интроспективные тесты на чувства создают проблемы для большинства моделей ИИ. У ИИ обычно есть ограждения, которые требуют от него ответить что-то вроде: «Я ИИ, поэтому у меня нет чувств». Иногда можно сделать джейлбрейк или подсказать инженеру обойти эти ограничения, но тогда возникают вопросы:

  
  

  • Влияет ли подсказка положительно или отрицательно на остальные способности ИИ в отношении сочувствия или вообще на что-нибудь? Риск побочных эффектов джейлбрейка

  • Точно ли ответы отражают тенденции, которые ИИ будет проявлять при участии в разговорах без подсказки? Риск точности взлома

    
    

  Риск побочных эффектов джейлбрейка можно в некоторой степени снизить, гарантируя, что все модели тестируются с одним и тем же запросом, а оценки учитываются только по отношению друг к другу, а не к людям. Влияние риска точности взлома можно оценить только путем анализа реальных разговоров, чтобы увидеть, коррелирует ли прогнозируемая способность эмоциональной идентификации с фактической эмпатией, проявляемой в разговорах, или эмоциями, вызываемыми в разговорах.

Поколение

Несколько тестов показали, что ИИ способны генерировать чуткие ответы на вопросы. Одним из наиболее впечатляющих является сравнение ответов чат-бота врача и искусственного интеллекта на вопросы пациентов, опубликованные на общедоступном форуме в социальных сетях. На него было принято 195 вопросов с форума AskDoc Reddit, где проверенный врач ответил на вопрос и попросил ChatGPT ответить на тот же вопрос. Затем группа оценщиков оценила каждый ответ как «не чуткий», «слегка чуткий», «умеренно чуткий», «чуткий» и «очень чуткий». Ответы ИИ имели в 9,8 раза более высокую распространенность «чутких» или «очень чутких» по сравнению с врачами.

Хотя результаты впечатляют, я скептически отношусь к тому, что они перейдут в расширенный диалог.

Начиная с системной подсказки «Ваша работа — сочувственно отвечать на вопросы, на которые будет полезен сочувственный ответ», мой опыт ручного тестирования ИИ показывает, что ответы имеют тенденцию казаться механическими и эмоционально избыточными при всех следующих условиях:

1. задавать несколько несвязанных между собой вопросов, заслуживающих сочувственного ответа
2. задавать несколько связанных вопросов, заслуживающих сочувственного ответа
3. ведение диалога со смешанными вопросами, некоторые из которых заслуживают сочувствия, а другие нет.

Рекомендации по тестированию

В результате вышеизложенного я бы сказал, что тестовый подход, использованный в исследовании, имел однократный риск эмпатии, то есть эмпатия, проявленная в ответ на один вопрос, не может быть точным показателем. Другой риск — это то, что я называю риском преуменьшения эмпатии . Этот риск является побочным эффектом того, что необработанные LLM со временем теряют память. Людям требуется время, чтобы развить понимание и сочувствие, то же самое может быть и с ИИ, и мы, возможно, недооцениваем способность некоторых ИИ проявлять сочувствие с течением времени, если ожидаем высокого уровня ответа на один вопрос.

Генеративные тесты также подвержены риску отбора проб у человека. Если перед людьми стоит задача оценить эмоциональное содержание и эмпатическую природу реакций ИИ, и мы хотим, чтобы ИИ обладал способностями выше среднего, тогда выборка людей должна обладать большей способностью распознавать эмоции и сочувствие, чем средний человек. В противном случае мы рискуем недооценить мощь ИИ или недостаточно его обучить, наказывая его за распознавание эмоций и сочувствия, не идентифицируемых обычным человеком.

Наконец, из-за многоуровневого характера эмоций в разговоре, помимо непосредственного рассмотрения риска человеческой выборки , необходимо учитывать риск проектирования вопросов . Возможно, пользователям следует предложить учитывать типы эмоций: явные, разговорные, движущие и основные (или какой-либо другой набор классификаций) при выставлении рейтинга, в то время как ИИ этого не делает. Альтернативно, ИИ можно выборочно попросить идентифицировать различные типы эмоций.

Было бы интересно повторить исследование на основе Reddit AskDoc для нескольких ИИ или с выборкой оценщиков, которые, как известно, обладают сильными эмоциями и навыками выявления эмпатии.

Стандартные человеческие подходы к оценке эмоционального интеллекта и эмпатии

Существует долгая история тестирования типов человеческой личности, способности распознавать эмоции или их отсутствие (алекситимия) и сочувственно взаимодействовать с другими. Эта статья в Википедии наверняка будет гораздо более полной и связной, чем все, что я мог бы написать или даже создать с помощью LLM за разумное время. Вы можете увидеть подходы, на которых мы сосредоточились, посетив страницу тестов .

Существующие системы оценки эмоционального интеллекта и эмпатии искусственного интеллекта

Было предложено несколько схем оценки эмоционального интеллекта и эмпатии ИИ. Каждый из них заслуживает отдельного анализа и публикации в блоге, поэтому я просто перечислю здесь некоторые из них:

1. EQ-Bench: тест эмоционального интеллекта для больших языковых моделей
2. Шкала эмпатии для общения человека с компьютером (ESHCC)
3. iEval: интерактивная система оценки эмпатических чат-ботов открытого домена

Новые подходы

Мы начали определять некоторые тесты для устранения недостатков, выявленных при использовании стандартных человеческих тестов и существующих инфраструктур искусственного интеллекта. Интересный вывод, который привел к созданию EQ-D (эмоционального коэффициента глубины), заключается в том, что ни один из протестированных LLM не выявил основных эмоций, если они не были также явными, разговорными или движущими. С другой стороны, когда их попросили конкретно определить только основные эмоции, некоторые ИИ показали себя весьма хорошо. Однако при наличии диапазона всех типов эмоций некоторые LLM потеряли способность идентифицировать основные эмоции, а другие показали себя значительно лучше, т. е. они определили наличие большего количества эмоций на всех уровнях. Это привело к созданию EQ-B (эмоционального коэффициента широты).

В ходе разработки тестов стало очевидно, что бывают случаи, когда требуется подсказка, которая вводит риск подсказки , т. е. увеличивает вероятность того, что выходные данные будут зависеть от подсказки, а не от основного ИИ. Этот риск может сделать или не сделать недействительными сравнения с людьми и может быть законным на уровне приложения. На исходном уровне LLM кажется несущественным сравнивать один ИИ с другим, пока подсказка используется во всех тестируемых ИИ и не предвзято относится к конкретному ИИ. Текущие разработки EQ-D и EQ-B страдают от этого риска из-за общей незрелости технологии искусственного интеллекта.

Хотя есть несколько предложений относительно тестирования ИИ на эмпатию, мы находимся на ранней стадии, и в этих подходах есть как известные, так и неизвестные проблемы. Предстоит проделать работу по устранению известного:

• существующие тесты должны быть оценены на предмет риска, а риски задокументированы или смягчены.

• новые тестовые примеры необходимо разработать в контексте некоторых существующих тестов.

• необходимо проводить больше типов тестов для более широкого спектра ИИ.

  
  

Но больше всего меня интригует неизвестность.

А ты?