Tận dụng hai LLM để cải thiện các quyết định phân tích tình cảm

Bảng liên kết

Tóm tắt và giới thiệu

Công việc có liên quan

Đàm phán LLM để phân tích tình cảm

Thí nghiệm

Nghiên cứu cắt bỏ

Kết luận và tài liệu tham khảo

3 Đàm phán LLM để phân tích tình cảm

3.1 Tổng quan

Trong phần này, chúng tôi trình bày chi tiết về khung đàm phán đa LLM để phân tích cảm tính: Hai LLM đóng vai trò là người tạo câu trả lời và người phân biệt đối xử. Chúng tôi coi sự tương tác giữa người tạo và người phân biệt đối xử là một cuộc đàm phán. Quá trình đàm phán sẽ lặp lại cho đến khi đạt được sự đồng thuận hoặc vượt quá số lượt đàm phán tối đa. Minh họa được thể hiện trong Hình 1 và 2.

3.2 Máy phát điện truyền vào lý trí

Trình tạo được hỗ trợ bởi một mô hình ngôn ngữ lớn. Chúng tôi yêu cầu trình tạo câu trả lời dựa trên mô hình ICL thông qua các lời nhắc, nhằm mục đích tạo ra chuỗi lý luận từng bước và quyết định hướng tới sự phân cực cảm tính của đầu vào kiểm tra.

Lời nhắc bao gồm ba yếu tố: mô tả nhiệm vụ, phần minh họa và đầu vào kiểm tra. Mô tả nhiệm vụ là mô tả nhiệm vụ bằng ngôn ngữ tự nhiên (ví dụ: "Vui lòng xác định cảm nhận chung về đầu vào kiểm tra."); đầu vào kiểm tra là đầu vào văn bản trong bộ kiểm tra (ví dụ: "Bầu trời xanh."); các cuộc biểu tình là từ tập hợp nhiệm vụ. Mỗi cái bao gồm ba yếu tố: đầu vào, chuỗi lý luận và quyết định tình cảm.

Đối với mỗi đầu vào thử nghiệm, trước tiên chúng tôi lấy K hàng xóm gần nhất (đầu vào, quyết định tình cảm) từ tập hợp tàu làm bản trình diễn. Sau đó, chúng tôi chuyển đổi phần trình diễn thành bộ ba (đầu vào, quá trình lý luận, quyết định cảm tính) bằng cách nhắc trình tạo tạo ra chuỗi lý luận. Sau khi kết hợp mô tả nhiệm vụ, trình diễn và đầu vào kiểm tra, chúng tôi chuyển tiếp lời nhắc đến trình tạo, trình tạo này sẽ phản hồi bằng chuỗi lý luận từng bước và quyết định theo cảm tính.

3.3 Bộ phân biệt dẫn đến giải thích

Bộ phân biệt đối xử được hỗ trợ bởi một LLM khác. Sau khi kết thúc quá trình tạo câu trả lời, bộ phân biệt câu trả lời được sử dụng để đánh giá xem quyết định của người tạo câu trả lời có đúng hay không và đưa ra lời giải thích hợp lý.

Để hoàn thành mục tiêu này, trước tiên chúng tôi xây dựng lời nhắc cho người phân biệt câu trả lời. Lời nhắc bao gồm bốn yếu tố: mô tả nhiệm vụ, phần minh họa, đầu vào kiểm tra và phản hồi từ trình tạo câu trả lời. Mô tả nhiệm vụ là một đoạn văn bản mô tả nhiệm vụ bằng ngôn ngữ tự nhiên (ví dụ: "Vui lòng xác định xem quyết định đó có đúng không."). Mỗi phần minh họa bao gồm sáu yếu tố: (văn bản đầu vào, chuỗi lý luận, quyết định tình cảm, thái độ của người phân biệt đối xử, giải thích của người phân biệt đối xử, quyết định của người phân biệt đối xử) và được xây dựng bằng cách nhắc người phân biệt đối xử trả lời đưa ra lời giải thích tại sao quyết định cảm tính lại đúng cho văn bản đầu vào.

Sau đó, chúng tôi hỏi người phân biệt đối xử bằng lời nhắc về cấu trúc. Trình phân biệt đối xử sẽ trả lời bằng một chuỗi văn bản, chứa thái độ (nghĩa là có, không) biểu thị liệu người phân biệt đối xử có đồng ý với người tạo ra hay không, giải thích giải thích lý do tại sao người phân biệt đối xử đồng ý/không đồng ý với người tạo ra và quyết định của người phân biệt đối xử xác định cảm nhận của đầu vào thử nghiệm.

Tại sao hai LLM mà không phải một? Có hai lý do để sử dụng riêng hai LLM khác nhau cho trình tạo và trình phân biệt thay vì sử dụng một LLM duy nhất để đóng vai trò hai vai trò: (1) Nếu LLM mắc lỗi với tư cách là trình tạo do lý do không chính xác, nhiều khả năng là nó cũng sẽ mắc sai lầm tương tự như bộ phân biệt đối xử vì bộ tạo và bộ phân biệt đối xử trong cùng một mô hình rất có thể đưa ra các lý do căn bản tương tự nhau; (2) bằng cách sử dụng hai mô hình riêng biệt, chúng ta có thể tận dụng được khả năng bổ sung của hai mô hình.

3.4 Đàm phán đảo ngược vai trò

Sau khi hai LLM kết thúc bằng một cuộc đàm phán, chúng tôi yêu cầu họ đổi vai và bắt đầu một cuộc đàm phán mới, trong đó LLM thứ hai đóng vai trò là người tạo ra và LLM đầu tiên đóng vai trò là người phân biệt đối xử. Chúng tôi gọi sự tương tác của hai LLM với các vai trò được hoán đổi là đàm phán chuyển đổi vai trò. Tương tự như vậy, quá trình đàm phán chuyển đổi vai trò sẽ kết thúc cho đến khi đạt được sự đồng thuận hoặc vượt quá số lượt đàm phán tối đa.

Khi cả hai cuộc đàm phán đều dẫn đến một thỏa thuận và các quyết định của họ giống nhau, chúng ta có thể chọn một trong hai quyết định là quyết định cuối cùng vì chúng giống nhau. Nếu một trong các cuộc đàm phán không đạt được sự đồng thuận trong khi cuộc đàm phán kia đi đến quyết định, chúng tôi chọn quyết định từ cuộc đàm phán đạt được sự đồng thuận làm quyết định cuối cùng. Tuy nhiên, nếu cả hai cuộc đàm phán đạt được sự đồng thuận nhưng quyết định của họ không phù hợp, chúng tôi sẽ yêu cầu sự hỗ trợ của Mô hình ngôn ngữ (LLM) bổ sung, như sẽ được giải thích chi tiết hơn bên dưới.

Giới thiệu LLM thứ ba Nếu quyết định từ hai cuộc đàm phán không phù hợp, chúng tôi sẽ giới thiệu LLM thứ ba và tiến hành đàm phán và đàm phán chuyển đổi vai trò với từng LLM nói trên. Sau đó, chúng ta sẽ nhận được 6 kết quả thương lượng và bỏ phiếu cho những kết quả này: quyết định xuất hiện thường xuyên nhất được đưa ra dưới dạng phân cực tình cảm của thử nghiệm đầu vào.