Đảm bảo chất lượng và tuân thủ: Giải quyết các thách thức khi sử dụng phi công phụ

IV. CUỘC THẢO LUẬN

Nâng cao khả năng tương thích giữa các IDE và trình soạn thảo khác nhau, đồng thời đơn giản hóa cấu hình của Copilot. Theo kết quả của RQ1 và RQ2, Vấn đề tương thích là danh mục lớn thứ hai và Vấn đề tương thích với Editor/IDE là nguyên nhân dẫn đến nhiều Vấn đề về sử dụng. Từ góc độ người dùng, chúng tôi cũng đã quan sát thấy nhiều cuộc thảo luận về các chi tiết liên quan đến cấu hình và cài đặt của Copilot, điều này khiến Sửa đổi Cấu hình/Cài đặt trở thành giải pháp được sử dụng thường xuyên thứ hai. Ngoài ra, Cấu hình/Cài đặt không đúng là nguyên nhân gây ra sự cố phổ biến thứ năm. Dựa trên những phát hiện này, chúng tôi tin rằng việc tăng cường khả năng tương thích và đơn giản hóa quy trình cấu hình Copilot cho người dùng có thể cải thiện đáng kể trải nghiệm của họ. Do đó, nhóm Copilot có thể cung cấp các hướng dẫn cấu hình và cài đặt chi tiết hơn, cung cấp các tùy chọn cấu hình thân thiện với người dùng cũng như thực hiện cập nhật và bảo trì thường xuyên.

Cần có thêm tùy chọn tùy chỉnh để cho phép người dùng điều chỉnh hành vi của Copilot để phù hợp với quy trình làm việc của riêng họ. Trong số 123 YÊU CẦU CHỨC NĂNG, chúng tôi đã xác định được 52 trường hợp yêu cầu như vậy để tùy chỉnh hành vi của Phi công phụ ở nhiều khía cạnh khác nhau, chiếm khoảng 50%. Một số yêu cầu phổ biến là chỉ định loại tệp hoặc không gian làm việc mà Copilot tự động chạy (11), sửa đổi các phím tắt để chấp nhận đề xuất (10), chấp nhận đề xuất mã theo từng dòng hoặc từng từ (9), ngăn chặn Copilot từ việc tạo một số loại đề xuất nhất định (ví dụ: đường dẫn tệp, nhận xét) (3) và định cấu hình màu văn bản và phông chữ (3). Trong nghiên cứu của Zhang et al. [19], họ cũng chỉ ra rằng việc cho phép người dùng tùy chỉnh các gợi ý là điều cần thiết. Ngoài ra, theo KINH NGHIỆM VỀ CHỨC NĂNG KÉM (ví dụ: coi các gợi ý tự động của Copilot là gây mất tập trung, điều này cũng được nghiên cứu của Bird và cộng sự đề cập đến [20]), chúng ta có thể nhận thấy nhu cầu tùy chỉnh hành vi của Copilot. Theo kết quả, chúng tôi tin rằng mức độ hành vi của Copilot có thể thích ứng tốt với thói quen mã hóa cá nhân của người dùng là một yếu tố quan trọng trong quyết định sử dụng Copilot của họ. Vì vậy, việc cung cấp các tùy chọn tùy chỉnh linh hoạt và thân thiện với người dùng là rất có lợi. Hơn nữa, việc khám phá cách các công cụ mã hóa AI tương tác với người dùng và tích hợp các công cụ này vào quá trình phát triển thực tế là rất có ý nghĩa.

Người dùng cần có nhiều cách hơn để kiểm soát nội dung do Copilot tạo ra. Từ Bảng IV, có thể thấy rằng phần lớn các giải pháp đều nhằm giải quyết Vấn đề sử dụng và Vấn đề tương thích, trong khi có một số ít giải pháp cho Vấn đề nội dung đề xuất. Trong số 69 vấn đề về nội dung đề xuất, chúng tôi chỉ xác định được 5 giải pháp, cho thấy rằng người dùng có thể gặp khó khăn khi cung cấp giải pháp lý tưởng cho các vấn đề về nội dung do Copilot đề xuất. Điều này một phần là do người dùng có những cách hạn chế để kiểm soát việc tạo mã của Copilot bên cạnh mã và nhận xét mã. Do đó, cần có các phương pháp bổ sung để giải quyết Vấn đề về nội dung đề xuất, chẳng hạn như cho phép nhà phát triển tương tác với Copilot và lặp lại mã được tạo cho đến khi mã đạt được mong đợi của nhà phát triển.

Cải thiện chất lượng mã do Copilot tạo ra. Trong các Vấn đề về Nội dung Gợi ý, các loại chiếm ưu thế là ĐỀ XUẤT CHẤT LƯỢNG THẤP (27) và ĐỀ XUẤT KHÔNG NGHĨA (13). Thí nghiệm của Imai et al. [9] nhận thấy rằng, so với lập trình cặp người, Copilot, mặc dù có khả năng tạo ra một lượng mã đáng kể, nhưng cũng dẫn đến nhiều mã bị xóa hơn trong quá trình thử nghiệm, nêu bật nhu cầu cải thiện chất lượng mã của Copilot. Chim và cộng sự. [20] quan sát thấy rằng Copilot đôi khi đưa ra các đề xuất mã đặc biệt và vô nghĩa, theo báo cáo của người dùng, một số trong đó có thể bao gồm thông tin cá nhân. Hơn nữa, mặc dù ĐỀ XUẤT KHÔNG AN TOÀN và ĐỀ XUẤT KÉM HIỆU QUẢ chỉ có hai trường hợp, nhưng chúng tôi tin rằng điều này chủ yếu là do người dùng gặp khó khăn trong việc phát hiện các loại vấn đề này và ít có xu hướng báo cáo chúng. Pearce và cộng sự. [6] nhận thấy rằng trong số 1.689 đoạn mã do Copilot tạo ra, 40% là dễ bị tấn công. Với những lần lặp lại liên tiếp của Copilot, việc tiến hành đánh giá thường xuyên về chất lượng của các đề xuất của nó trở nên cấp thiết.

Việc sử dụng Copilot làm thay đổi quá trình mã hóa và tăng chi phí thời gian cho việc xác minh các đề xuất mã, khiến việc giải thích mã trở nên rất quan trọng. Trong nghiên cứu của chúng tôi, ĐỀ XUẤT KHÔNG THỂ HIỂU ĐƯỢC (8) được xếp hạng là Vấn đề về Nội dung Đề xuất phổ biến thứ tư. Một số người dùng đã đề cập đến vấn đề đề xuất mã quá dài, dẫn đến khả năng đọc giảm. Điều này chỉ ra rằng khi Copilot đưa ra các đề xuất tương đối phức tạp hoặc khi người dùng thiếu kinh nghiệm viết mã trong một miền cụ thể, việc hiểu logic mã và xác minh tính chính xác của nó có thể tốn nhiều thời gian. Nghiên cứu của Wang et al. [21] cho thấy việc sử dụng mã do AI tạo ra có thể dẫn đến áp lực đánh giá đáng kể. Do đó, chúng tôi tin rằng các công cụ mã hóa AI (ví dụ: Copilot) sẽ thay đổi việc phân bổ thời gian dành cho các nhiệm vụ khác nhau trong phát triển phần mềm. Chúng tôi đã quan sát thấy bốn yêu cầu tính năng liên quan đến giải thích mã và nhóm Copilot đặc biệt chú trọng vào việc mở rộng chức năng này. Tính năng trò chuyện [15] được giới thiệu trong Copilot X đã có khả năng cung cấp các giải thích mã chi tiết, trong khi độ chính xác của nó đòi hỏi phải đánh giá thử nghiệm thêm trong các giai đoạn tiếp theo.

Xem xét sở hữu trí tuệ và bản quyền. Số lượng Vấn đề về Bản quyền và Chính sách cao hơn một chút so với dự kiến của chúng tôi và chúng tôi nhận thấy có nhiều mối lo ngại từ cả người dùng và chủ sở hữu kho lưu trữ GitHub trong quá trình trích xuất dữ liệu. Chim và cộng sự. [20] cũng nhận thấy một số cuộc thảo luận về cách áp dụng bản quyền cho các đề xuất mã của Copilot. Mục tiêu nghiên cứu của chúng tôi không phải là đưa ra đánh giá về những vấn đề như vậy và bản chất không phải nguồn mở của Copilot, vì đây là một vấn đề phức tạp phụ thuộc vào nhiều yếu tố khác nhau như mục tiêu, người dùng mục tiêu và mô hình kinh doanh của Copilot. Tuy nhiên, chúng tôi cho rằng nhóm Copilot có thể thực hiện các biện pháp để giải quyết những vấn đề này, cung cấp dịch vụ tạo mã ổn định và chất lượng cao đồng thời bảo vệ quyền riêng tư và sở hữu trí tuệ của người dùng.