Đa dạng về chất lượng thông qua phản hồi AI (QDAIF): Một bước hướng tới sự sáng tạo AI tự trị

Bảng liên kết

Tóm tắt & Giới thiệu

Bối cảnh và công việc liên quan

Tiếp cận

Thử nghiệm về lĩnh vực viết sáng tạo

Thảo luận và kết luận

Phụ lục

TRỪU TƯỢNG

Trong nhiều vấn đề về tạo văn bản, người dùng có thể không chỉ thích một phản hồi duy nhất mà còn có nhiều kết quả đầu ra chất lượng cao để lựa chọn. Các thuật toán tìm kiếm đa dạng về chất lượng (QD) hướng tới những kết quả như vậy, bằng cách liên tục cải thiện và đa dạng hóa nhóm ứng viên. Tuy nhiên, khả năng áp dụng QD vào các lĩnh vực định tính, như viết sáng tạo, đã bị hạn chế do khó khăn trong việc xác định các thước đo về chất lượng và tính đa dạng bằng thuật toán. Điều thú vị là những phát triển gần đây về mô hình ngôn ngữ (LM) đã cho phép tìm kiếm hướng dẫn thông qua phản hồi AI, trong đó LM được nhắc bằng ngôn ngữ tự nhiên để đánh giá các khía cạnh định tính của văn bản. Tận dụng sự phát triển này, chúng tôi giới thiệu Đa dạng về Chất lượng thông qua Phản hồi AI (QDAIF), trong đó thuật toán tiến hóa áp dụng LM để vừa tạo ra biến thể vừa đánh giá chất lượng cũng như tính đa dạng của văn bản ứng viên. Khi được đánh giá trên các lĩnh vực viết sáng tạo, QDAIF bao phủ nhiều không gian tìm kiếm được chỉ định hơn với các mẫu chất lượng cao so với các điều khiển không phải QD. Hơn nữa, đánh giá của con người đối với các văn bản sáng tạo do QDAIF tạo ra xác nhận sự đồng thuận hợp lý giữa AI và đánh giá của con người. Do đó, kết quả của chúng tôi nêu bật tiềm năng của phản hồi AI để hướng dẫn tìm kiếm mở cho các giải pháp sáng tạo và nguyên bản, cung cấp một công thức dường như khái quát cho nhiều lĩnh vực và phương thức. Theo cách này, QDAIF là một bước tiến tới các hệ thống AI có thể tìm kiếm, đa dạng hóa, đánh giá và cải tiến một cách độc lập, vốn là một trong những kỹ năng cốt lõi làm nền tảng cho năng lực đổi mới của xã hội loài người.[1]

1. GIỚI THIỆU

Sự đổi mới của con người không chỉ là năng lực sáng tạo mà còn bao gồm khả năng đánh giá chất lượng chủ quan của các ý tưởng và sản phẩm mới. Những ý tưởng tuyệt vời hiếm khi được tạo ra ngay lập tức mà thay vào đó dần dần xuất hiện thông qua các chuỗi xây dựng và sửa đổi khác nhau (Stanley & Lehman, 2015). Để điều hướng thành công cây ý tưởng như vậy, người sáng tạo phải đánh giá những bước nào trong chuỗi đáng để theo đuổi thêm, một câu hỏi có thể mang tính chủ quan cao, đặc biệt là trong các lĩnh vực có khía cạnh nghệ thuật hoặc văn học.

Cho đến nay, ngay cả khi AI có thể cung cấp ứng viên, hy vọng về sự đánh giá nhuốm màu chủ quan như vậy vẫn nằm ở con người. Tuy nhiên, công nghệ mô hình nền tảng mới nổi trong những năm gần đây (Bommasani và cộng sự, 2021) hiện có nghĩa là mô hình này cũng có thể đóng vai trò là người đánh giá, ngay cả khi việc đánh giá một phần mang tính chủ quan (Madaan và cộng sự, 2023). Bằng cách này, lần đầu tiên, toàn bộ quá trình lên ý tưởng trả về một tập hợp đa dạng các tạo tác thú vị về nguyên tắc có thể được tự động hóa. Quá trình này không thể được LM tự mình thực hiện hoàn toàn mà đòi hỏi phải kết hợp thuật toán tìm kiếm với các lệnh gọi mô hình theo một cách khác nhau. Bài viết này nhấn mạnh một cách để đạt được tiềm năng này: kết hợp LM với lĩnh vực đa dạng chất lượng (QD) (Mouret & Clune, 2015), tập trung vào cách thiết kế các quy trình tìm kiếm tạo ra các giải pháp chất lượng cao trải rộng trong không gian thiết kế .

Cái nhìn sâu sắc chính trong thuật toán QD là duy trì và tìm kiếm các phản hồi đa dạng chất lượng cao một cách rõ ràng. Thông thường, các thuật toán tìm kiếm như vậy yêu cầu các thước đo về tính đa dạng và chất lượng được thiết kế thủ công cũng như cách tạo ra các biến thể có ý nghĩa. Tuy nhiên, các lĩnh vực phức tạp và thú vị nhất hầu như luôn liên quan đến các khái niệm về hiệu suất, tính đa dạng và sự biến đổi mang tính chủ quan hoặc khó xác định bằng thuật toán. Mở rộng công việc tạo ra sự thay đổi thông qua LM (Lehman và cộng sự, 2022; Meyerson và cộng sự, 2023) và đánh giá chất lượng của các giải pháp tiềm năng thông qua LM (Ahn và cộng sự, 2022), chúng tôi cho thấy rằng LM cũng có thể được sử dụng để đánh giá khía cạnh chất lượng của sự đa dạng. Bằng cách này, LM có thể khởi tạo ba thành phần chính của tìm kiếm QD, từ đó cho phép các thuật toán QD mới mạnh mẽ có thể thúc đẩy các tiến bộ LM liên tục mà chúng tôi đặt tên là Đa dạng chất lượng thông qua Phản hồi AI (QDAIF). QDAIF như vậy có thể khám phá và trả về các phản hồi đa dạng, chất lượng cao cho lời nhắc LM thông qua các biện pháp đa dạng trực quan hơn mà không cần tinh chỉnh mô hình (mặc dù, nó cũng có thể được sử dụng để LM tự cải thiện bằng cách tạo ra tinh chỉnh data (Lehman và cộng sự, 2022; Chen và cộng sự, 2023)), một hướng đi thú vị cho môi trường học tập hiệu quả tự quản lý thông qua dữ liệu được tạo, hướng tới các thuật toán tạo AI (Clune, 2019)).

Chúng tôi đánh giá QDAIF trên ba lĩnh vực viết sáng tạo: viết ý kiến, truyện ngắn và thơ. Ý tưởng là trong các lĩnh vực sáng tạo như vậy, người dùng thường thích xem nhiều câu chuyện hoặc bài thơ có thể có để lựa chọn hoặc lấy cảm hứng từ đó. Kết quả định lượng chỉ ra rằng QDAIF vượt trội đáng kể so với các đường cơ sở hiện có. Ngoài ra, thông qua đánh giá của con người, chúng tôi quan sát thấy sự liên kết chặt chẽ giữa phản hồi của con người và phản hồi do AI tạo ra, cung cấp bằng chứng thực nghiệm cho thấy phản hồi của AI là có cơ sở và phương pháp này có thể hoạt động trong thực tế (tức là nó mang lại chất lượng được cải thiện và tính đa dạng được đo lường bởi con người). Nhìn chung, QDAIF đưa chúng ta tiến một bước gần hơn đến các mô hình AI có thể tìm kiếm và đổi mới một cách độc lập, một trong những khả năng then chốt của con người cho phép họ tạo ra văn hóa và khoa học (Stanley và cộng sự, 2017).

[1] Trang dự án: https://qdaif.github.io/