Оценка векторов вероятности эмоций: опрос LLM с помощью хвостовой подсказки, вызывающей эмоции

Таблица ссылок

• Аннотация и введение
• Опрос LLM с помощью подсказки, вызывающей эмоции
• PCA-анализ обзоров Emotion of Amazon
• Будущая работа
• Выводы
• Благодарности и ссылки

2. Опрос LLM с помощью подсказки, вызывающей эмоции

В этой работе мы использовали LlaMa2 с открытым исходным кодом Facebook LLM весом 7 миллиардов в качестве основного движка [2]. Необходимо было использовать LLM, который позволял получить доступ к необработанным вероятностям токенов после запроса. Модель работала на Mac Studio с 32 гигабайтами оперативной памяти. При таком сочетании оборудования и модели вычисление вероятностей дескрипторов эмоций в словаре эмоций, приведенном ниже, заняло 2 минуты.

2.1. Словарь эмоций

Английский язык богат множеством слов и обширной литературой, в которой приведены примеры использования этих слов в соответствующих контекстах. Для целей LLM это контекст слова, который передает его значение. Читатель сможет сделать вывод о значении незнакомого слова через контекст, в котором он находит это слово, при условии, что он понимает контекст. Например: «Дробовик сбил кролика с толку». показывает, как значение может модерироваться контекстом. Контекст, созданный хвостовой подсказкой, будет отдавать предпочтение связанному классу слов. В эксперименте, подробно описанном в этой статье, для выявления дескрипторов эмоций использовалась следующая подсказка: «Чтение этого заставляет меня чувствовать». Вполне вероятно, что определенные эмоции, вызывающие хвостовые подсказки, будут отдавать предпочтение определенным подклассам дескрипторов, но изучение этого выходит за рамки данной статьи.

Следующие слова были выбраны, чтобы предоставить широкую выборку дескрипторов эмоций.

принятие, восхищение, обожание, привязанность, страх, волнение, агония, агрессивный, тревога, встревоженный, отчуждение, изумление, двойственное отношение, развлечение, гнев, тоска, раздраженное ожидание, тревога, апатия, опасение, высокомерный, напористый, изумленный, внимательность, влечение , отвращение, трепет, сбитый с толку, сбитый с толку, горький, горькая сладость, блаженство, скучающий, наглый, задумчивый, спокойный, беззаботный, небрежный, заботливый, благотворительный, нахальный, веселый, клаустрофобный, принудительный, удобный, уверенный, растерянный, презрение, довольный, мужество, трусость, жестокость, любопытство, цинизм, ошеломленный, уныние, восхищенный, деморализованный, подавленный, желание, отчаяние, решительный, разочарование, неверие, сбитый с толку, дискомфорт, недовольство, недовольство, отвращение, разочарование, неприязнь, смятение, дезориентированный, унылый, неудовольствие, отвлечение, страдание, встревоженный, доминирующий, сомнение, страх, управляемый, ошеломленный, рвение, экстаз, восторг, смущение, сочувствие, очарованный, наслаждение, просвещенный, скука, энтузиазм, зависть, прозрение, эйфория, раздраженный, волнение, ожидание, очарование, страх, чешуйчатый, сосредоточенный, нежность, дружелюбие, испуг, разочарование, ярость, ликование, мрачный, угрюмость, благодарность, жадность, горе, ворчливость, сварливость, вина, счастье, ненависть, ненависть, беспомощный, тоска по дому, надежда, безнадежность, испуганный, гостеприимный, унижение, смирение, обида, истерия, безделье, нетерпеливый, безразличие, возмущенный, увлечение, разъяренный, неуверенный, проницательный, оскорбленный, интерес, заинтригованный, раздраженный, изолированный, ревность, веселье, радость, ликование, добрый, ленивый, симпатия, ненависть, одинокий, тоска, безумный, любовь, похоть, безумный, меланхолия, несчастный, скупость, перепутанный, скромность, капризный, огорченный, озадаченный, противный, тошнотворный, негативный, пренебрежение, нервный, ностальгический, онемевший, упрямый, оскорбленный , оптимистичный, возмущение, подавленный, паникующий, параноидальный, страсть, терпение, задумчивость, озадаченный, настойчивый, пессимизм, жалость, довольный, удовольствие, вежливость, позитивный, собственнический, бессильный, гордость, озадаченный, ярость, сыпь, потрясенный, сожаление, отвергнутый , расслабленный, облегченный, неохотный, раскаяние, обида, смирение, беспокойство, отвращение, безжалостный, печаль, удовлетворение, испуганный, злорадство, презрение, забота о себе, сострадательный, самоуверенный, застенчивый, самокритичный, самокритичный - ненависть, самомотивация, жалость к себе, самоуважение, самопонимание, сентиментальность, спокойствие, стыд, бесстыдство, шок, самодовольство, печаль, злоба, стресс, сильный, упрямый, застрявший, покорный, страдание, угрюмость, удивление , ожидание, подозрительный, сочувствие, нежность, напряжение, ужас, благодарность, взволнованный, усталый, терпимость, мучение, торжествующий, обеспокоенный, доверие, неуверенность, подорванный, беспокойство, несчастный, расстроенный, нерешительный, неуверенный, расстроенный, мстительный, порочный, бдительность , уязвимый, слабый, горе, обеспокоенный, достойный, гнев.

Этот набор слов не претендует на то, чтобы быть полным или окончательным. Использование хвостовой подсказки без ограничения возврата к дескрипторам эмоций вызывает общие неясные ответы, которые нелегко извлечь из формы настроений.

2.1.1. Оценка вектора вероятности эмоций

LlaMa2 [2] был выпущен таким образом, чтобы позволить разработчикам получить доступ к расчетному весу токенов, возвращаемому в ответ на запрос. LlaMa2 имеет внутренний словарь размером около 30 000 токенов. Это означает, что когда LlaMa 2 оценивает вероятность следующего токена в последовательности, вектор вероятности будет состоять из 30 000 элементов. Некоторые слова в списке дескрипторов эмоций состоят из более чем одного токена, и в этом случае используются прямые условные вероятности.

На рис. 2.1.1 показано масштабированное распределение вероятностей слов из словаря эмоций, вызванное подсказкой в конце текста обзора Amazon: «Я прочитал много отрицательных отзывов о Fitbit Inspire 2, рискнул и надеялся, что заказал именно тот, который заказал». был бы одним из величайших, которые сработали. К сожалению, это было не так. Распаковал, зарядил, скачал приложение. Я прогулялся в нем до захода солнца. На моем телефоне установлено приложение Google Fit, которое также отслеживает мои шаги. Телефон лежал в кармане джинсов. Когда я вернулся домой, я сравнил их: Google Fit показал 4458 шагов, Fitbit — 1168. Очевидно, Fitbit работает с движением запястья, которого у меня нет, когда я катаю пешехода по окрестностям. Я скачал руководство и заметил, что его можно записать на клип (его не было в комплекте). Это сработало бы для меня. Итак, я начал пролистывать различные функции, но не смог просмотреть их все. Во время прокрутки я, должно быть, включил секундомер. Я не мог его выключить. Тогда я не мог ничего прокручивать, кроме функции водяного замка. Мне пришлось включить гидрозатвор, чтобы вернуться к секундомеру. Потом перестали работать боковые кнопки. У меня это было в общей сложности 5 часов. Я упаковал его и начал возврат Amazon. Я получил полный возврат средств. Очень обидно.'

Текст из 50 обзоров книги на Amazon был позаимствован с https://www.amazon.com/dp/B000WM9UK2. Отзывы были в большинстве своем положительные. Примеры текстов рецензий включают: «Дети Хурина — это великая трагедия, смешанная с благодатью. Генеалогические записи вначале могут быть трудными для прочтения, но история очень быстро набирает скорость. Я дал этой истории только четыре звезды из-за сложности первых нескольких глав, что очень похоже на генеалогию Христа, приведенную Матфеем в начале его Евангелия. Хотя такие записи важны в обоих случаях, их, тем не менее, трудно достать. Тем не менее, я все равно определенно рекомендую эту книгу, поскольку в ней показано ужасное воздействие злых сил на хороших мужчин и женщин, и тем не менее, мы должны продолжать сопротивляться злу, независимо от трагического конца. Очень показательно, что в мире Толкина, в конце дней, когда Моргот возвращается, именно Турин, человек, убивает его раз и навсегда. Больше всего сатана уничтожает в этой жизни тех, кто в конечном итоге нанесет ему смертельный удар, как сказано в Откровении: «Они победили его кровью Агнца и словом своего «мученичества» [свидетельства, свидетельства]». такие, как Турин, или, в Писании, такие, как Иов».

На рис. 2.1.2 показаны векторы эмоций для всех 50 обработанных отзывов. 10 наиболее вероятными эмоциями, возникшими при покупке продукта, были: депрессия, доброта, ностальгия, усталость, безысходность, одиночество, надежда, спокойствие, ленивость, уверенность.