Ước tính các vectơ xác suất cảm xúc: Thẩm vấn LLM bằng lời nhắc gợi ý cảm xúc

Bảng liên kết

• Tóm tắt và giới thiệu
• Thẩm vấn LLM bằng Lời nhắc gợi lên cảm xúc
• Phân tích PCA về các đánh giá Cảm xúc của Amazon
• Công việc tương lai
• Kết luận
• Lời cảm ơn và tài liệu tham khảo

2. Thẩm vấn LLM bằng Lời nhắc gợi lên cảm xúc

Trong nghiên cứu này, chúng tôi đã sử dụng LLM mã nguồn mở LlaMa2 có trọng lượng 7 tỷ LLM của Facebook làm công cụ cốt lõi [2]. Cần phải sử dụng LLM cho phép truy cập vào xác suất mã thông báo thô sau lời nhắc. Mô hình này chạy trên Mac Studio với RAM 32 gigabyte. Với sự kết hợp giữa phần cứng và mô hình này, phải mất 2 phút để tính toán xác suất của các bộ mô tả cảm xúc trong từ điển cảm xúc được đưa ra dưới đây.

2.1. Từ điển cảm xúc

Ngôn ngữ tiếng Anh có rất nhiều từ và nguồn tài liệu phong phú cung cấp các ví dụ về cách sử dụng những từ này trong các ngữ cảnh thích hợp. Đối với mục đích của LLM, ngữ cảnh của một từ sẽ truyền tải ý nghĩa của nó. Người đọc sẽ suy ra nghĩa của một từ không quen thuộc thông qua ngữ cảnh mà họ tìm thấy từ đó được sử dụng, miễn là họ hiểu ngữ cảnh đó. Ví dụ: 'Súng ngắn đã hạ gục con thỏ.' cho thấy ý nghĩa có thể được điều chỉnh theo ngữ cảnh như thế nào. Ngữ cảnh được tạo bởi dấu nhắc ở đuôi sẽ ưu tiên một lớp từ liên quan. Đối với thí nghiệm được trình bày chi tiết trong bài viết này, gợi ý ở đuôi sau đây được sử dụng để khơi gợi những yếu tố mô tả cảm xúc, 'Đọc điều này khiến tôi cảm thấy'. Có khả năng là những gợi ý ở đuôi gợi lên cảm xúc cụ thể sẽ ưu tiên các lớp mô tả phụ cụ thể nhưng việc nghiên cứu điều này nằm ngoài phạm vi của bài viết này.

Những từ sau đây được chọn để cung cấp một mẫu mô tả cảm xúc rộng rãi.

sự chấp nhận, sự ngưỡng mộ, sự tôn thờ, tình cảm, sợ, kích động, đau đớn, hung hăng, báo thức, hoảng hốt, xa lánh, kinh ngạc, không khí xung quanh, vui chơi giải trí, giận dữ, đau khổ, khó chịu, lo lắng, thờ ơ, e ngại, kiêu ngạo, quyết đoán, ngạc nhiên, chú ý, thu hút , Ác cảm, kinh hãi, bối rối, hoang mang, đắng, ngọt ngào cay đắng, Hạnh phúc, chán, trơ trẽn, ú ớ, điềm tĩnh, vô tư, cẩu thả, Chăm sóc, từ thiện, táo bạo, Vui vẻ, ngột ngạt, cưỡng bức, Thoải mái, tự tin, nhầm lẫn, Khinh thường, Nội dung, can đảm, hèn nhát, độc ác, tò mò, hoài nghi, choáng váng, chán nản, vui mừng, mất tinh thần, chán nản, mong muốn, tuyệt vọng, quyết tâm, thất vọng, hoài nghi, không hài lòng, khó chịu, bất mãn, bất mãn, ghê tởm, chán nản, không thích, mất tinh thần, mất phương hướng, chán nản, không hài lòng, mất tập trung, đau khổ, bối rối, chiếm ưu thế, nghi ngờ, sợ hãi, thúc đẩy, chết lặng, háo hức, ngây ngất, phấn chấn, bối rối, đồng cảm, mê hoặc, thích thú, giác ngộ, chán nản, nhiệt tình, ghen tị, hiển linh, hưng phấn, bực tức, phấn khích, mong đợi, mê hoặc, sợ hãi, cáu kỉnh, tập trung, yêu mến, thân thiện, sợ hãi, thất vọng, giận dữ, vui vẻ, ảm đạm, ủ rũ, lòng biết ơn, tham lam, đau buồn, cáu kỉnh, gắt gỏng, cảm giác tội lỗi, hạnh phúc, ghét, hận thù, bất lực, nhớ nhà, hy vọng, vô vọng, kinh hoàng, hiếu khách, nhục nhã, khiêm tốn, tổn thương, cuồng loạn, lười biếng, thiếu kiên nhẫn, thờ ơ, phẫn nộ, mê đắm, tức giận, bất an, sâu sắc, bị xúc phạm, quan tâm, tò mò, cáu kỉnh, cô lập, ghen tị, vui vẻ, vui vẻ, hân hoan, tốt bụng, lười biếng, thích, ghê tởm, cô đơn, khao khát, điên cuồng, tình yêu, ham muốn, điên, u sầu, khốn khổ, keo kiệt, lẫn lộn, khiêm tốn, ủ rũ, hành xác, bí ẩn, khó chịu, buồn nôn, tiêu cực, bỏ bê, lo lắng, hoài cổ, tê liệt, cố chấp, bị xúc phạm , Lạc quan, phẫn nộ, choáng ngợp, hoảng loạn, hoang tưởng, niềm đam mê, kiên nhẫn, trầm ngâm, bối rối, kiên trì, bi quan, thương hại, hài lòng, vui lòng, lịch sự, tích cực, chiếm hữu, bất lực, tự hào, bối rối, giận dữ, phát ban, bối rối, hối tiếc, bị từ chối , thoải mái, nhẹ nhõm, miễn cưỡng, hối hận, oán giận, cam chịu, bồn chồn, ghê tởm, tàn nhẫn, buồn bã, hài lòng, sợ hãi, đau khổ, khinh miệt, tự chăm sóc, tự từ bi, tự tin, tự ý thức, tự phê bình, tự -ghét, tự động viên, tủi thân, tự trọng, hiểu mình, đa cảm, thanh thản, xấu hổ, vô liêm sỉ, sốc, tự mãn, buồn phiền, cay cú, căng thẳng, mạnh mẽ, bướng bỉnh, mắc kẹt, phục tùng, đau khổ, ủ rũ, bất ngờ , hồi hộp, nghi ngờ, cảm thông, dịu dàng, căng thẳng, khủng bố, biết ơn, hồi hộp, mệt mỏi, khoan dung, dằn vặt, chiến thắng, gặp rắc rối, tin tưởng, không chắc chắn, làm suy yếu, khó chịu, không vui, mất bình tĩnh, bất an, không chắc chắn, buồn bã, báo thù, luẩn quẩn, cảnh giác , dễ bị tổn thương, yếu đuối, khốn khổ, lo lắng, xứng đáng, phẫn nộ.

Tập hợp các từ này không nhằm mục đích hoàn chỉnh hoặc dứt khoát dưới bất kỳ hình thức nào. Việc sử dụng dấu nhắc ở đuôi mà không hạn chế việc quay lại các bộ mô tả cảm xúc sẽ gợi ra những phản hồi chung chung không dễ để trích xuất dạng cảm xúc.

2.1.1. Ước tính vectơ xác suất cảm xúc

LlaMa2 [2] đã được phát hành theo cách cho phép các nhà phát triển truy cập vào trọng số ước tính của mã thông báo được trả về để phản hồi lời nhắc. LlaMa2 có kích thước từ vựng nội bộ khoảng 30.000 mã thông báo. Điều này có nghĩa là khi LlaMa 2 ước tính xác suất của mã thông báo tiếp theo trong chuỗi thì vectơ xác suất sẽ có 30.000 phần tử. Một số từ trong danh sách mô tả cảm xúc được tạo thành từ nhiều hơn một mã thông báo, trong trường hợp đó xác suất có điều kiện chuyển tiếp được sử dụng.

Hình 2.1.1 cho thấy phân bổ xác suất theo tỷ lệ đối với các từ trong từ điển cảm xúc được gợi ra bởi dấu nhắc ở đuôi của văn bản đánh giá trên Amazon, 'Tôi đã đọc rất nhiều đánh giá tiêu cực về Fitbit Inspire 2, tôi đã nắm lấy cơ hội và hy vọng vào sản phẩm tôi đã đặt hàng sẽ là một trong những cái tuyệt vời đã hoạt động. Thật không may đó không phải là trường hợp. Tôi đã giải nén nó, sạc pin, tải xuống ứng dụng. Tôi đã đi dạo với nó trước khi mặt trời lặn. Tôi cũng có ứng dụng Google Fit trên điện thoại để theo dõi bước đi của mình. Chiếc điện thoại ở trong túi quần jean của tôi. Khi về đến nhà, tôi so sánh cả hai, Google Fit cho biết 4.458 bước, Fitbit cho biết 1.168. Rõ ràng Fitbit hoạt động với chuyển động của cổ tay mà tôi không có khi đẩy xe tập đi quanh khu vực lân cận. Tôi đã tải xuống hướng dẫn sử dụng và nhận thấy rằng bạn có thể đưa nó vào một đoạn clip (không kèm theo). Cai đo vơi tôi được rôi. Vì vậy, tôi bắt đầu cuộn qua các tính năng khác nhau nhưng tôi không thể cuộn qua tất cả chúng. Trong khi cuộn tôi chắc chắn đã bật đồng hồ bấm giờ. Tôi không thể tắt nó đi. Sau đó tôi không thể cuộn qua bất cứ thứ gì ngoại trừ tính năng khóa nước. Tôi phải bật khóa nước để quay lại đồng hồ bấm giờ. Sau đó các nút bên ngừng hoạt động. Tôi đã có tổng cộng 5 giờ. Tôi đóng gói nó lại và bắt đầu trả lại Amazon. Tôi đã nhận được một khoản hoàn lại đầy đủ. Rất đáng thất vọng.”

Văn bản từ 50 bài đánh giá về một cuốn sách trên Amazon được mượn từ https://www.amazon.com/dp/B000WM9UK2. Các đánh giá phần lớn đều thuận lợi. Các văn bản đánh giá ví dụ bao gồm: 'Những đứa trẻ của H'urin là một bi kịch lớn xen lẫn sự duyên dáng. Những ghi chép gia phả lúc đầu có thể khó đọc nhưng câu chuyện lại nhanh chóng tăng tốc. Tôi chỉ cho câu chuyện bốn sao vì độ khó của vài chương đầu tiên, giống như gia phả của Ma-thi-ơ về Đấng Christ ở phần đầu phúc âm của ông. Mặc dù những hồ sơ như vậy rất quan trọng trong cả hai trường hợp nhưng chúng vẫn khó có thể vượt qua được. Tuy nhiên, tôi chắc chắn vẫn muốn giới thiệu cuốn sách này vì nó mô tả những tác động khủng khiếp của sức mạnh tà ác đối với những người đàn ông và phụ nữ tốt, tuy nhiên, chúng ta phải tiếp tục chống lại cái ác bất kể kết cục bi thảm. Điều đáng nói là trong thế giới của Tolkien, vào cuối những ngày mà Morgoth trở lại, chính Turin, một người đàn ông, là người đã kết liễu anh ta một lần và mãi mãi. Những người mà Sa-tan tiêu diệt nhiều nhất trong cuộc đời này là những người cuối cùng sẽ ra đòn chí mạng cho hắn, như Khải Huyền nói, “Họ đã chiến thắng hắn bằng huyết Chiên Con và bằng lời 'tử đạo' của họ, [nhân chứng, lời khai],” những người như Turin, hoặc trong Kinh thánh, những người như Job.'

Hình 2.1.2 hiển thị các vectơ cảm xúc cho tất cả 50 đánh giá đã được xử lý. 10 cảm xúc có thể xảy ra nhất khi mua sản phẩm là: chán nản, tốt bụng, hoài niệm, mệt mỏi, vô vọng, cô đơn, hy vọng, bình tĩnh, lười biếng, tự tin.