품질 및 규정 준수 보장: Copilot 사용 문제 해결

IV. 논의

다양한 IDE 및 편집기 간의 호환성을 향상하고 Copilot 구성을 단순화합니다. RQ1과 RQ2의 결과에 따르면 호환성 문제는 두 번째로 큰 범주이며, Editor/IDE 호환성 문제는 많은 사용 문제를 일으키는 원인입니다. 사용자의 관점에서도 Copilot의 구성 및 설정과 관련된 세부 사항에 대해 많은 논의가 있었으며, 이로 인해 구성/설정 수정이 두 번째로 가장 자주 사용되는 솔루션이 되었습니다. 또한 부적절한 구성/설정은 다섯 번째로 흔한 문제 원인입니다. 연구 결과를 바탕으로 우리는 호환성을 강화하고 사용자를 위한 Copilot 구성 프로세스를 단순화하면 사용자 경험을 크게 향상시킬 수 있다고 믿습니다. 따라서 Copilot 팀은 보다 자세한 설치 및 구성 지침을 제공하고 사용자에게 친숙한 구성 옵션을 제공하며 정기적인 업데이트 및 유지 관리를 수행할 수 있습니다.

사용자가 Copilot의 동작을 자신의 작업 흐름에 맞게 조정할 수 있도록 더 많은 사용자 정의 옵션이 필요합니다. 123개의 기능 요청 중에서 다양한 측면에서 Copilot의 동작을 맞춤화하라는 요청이 52개 발견되었으며, 이는 약 50%에 해당합니다. 몇 가지 일반적인 요청에는 Copilot이 자동으로 실행되는 파일 형식 또는 작업 공간 지정(11), 제안 수락을 위한 바로 가기 키 수정(10), 코드 제안을 한 줄 또는 단어별로 수락(9), Copilot 방지 등이 있습니다. 특정 유형의 제안(예: 파일 경로, 설명) 생성(3), 텍스트 색상 및 글꼴 구성(3). Zhang 등의 연구에서. [19], 그들은 또한 사용자가 제안에 대한 사용자 정의를 허용하는 것이 필수적이라고 지적했습니다. 또한, 불쌍한 기능 경험(예: Copilot의 자동 제안을 방해가 되는 것으로 인식하는 것, Bird et al. [20]의 연구에서도 언급됨)에 따라 Copilot의 행동을 사용자 정의해야 한다는 요구를 식별할 수 있습니다. 결과에 따르면 Copilot의 행동이 사용자의 개별 코딩 습관에 얼마나 잘 적응할 수 있는지가 Copilot 사용 결정에 중요한 요소라고 믿습니다. 따라서 유연하고 사용자 친화적인 사용자 정의 옵션을 제공하는 것이 매우 유리합니다. 나아가 AI 코딩 도구가 어떻게 사용자와 상호 작용하고 이러한 도구를 실제 개발에 통합해야 하는지 탐구하는 것도 의미가 있습니다.

사용자는 Copilot에서 생성된 콘텐츠를 제어할 수 있는 더 많은 방법이 필요합니다. 표 IV를 보면 대부분의 솔루션이 사용 문제와 호환성 문제를 해결하는 데 목표를 두고 있는 반면, 제안 콘텐츠 문제에 대한 솔루션은 적다는 것을 알 수 있습니다. 제안된 콘텐츠 문제 69개 중 해결 방법은 5개만 식별되었으며, 이는 Copilot이 제안한 콘텐츠 문제에 대해 사용자가 이상적인 솔루션을 제공하는 데 어려움을 겪을 수 있음을 나타냅니다. 이는 부분적으로 사용자가 코드 및 코드 주석 자체 외에 Copilot의 코드 생성을 제어할 수 있는 방법이 제한되어 있기 때문입니다. 따라서 제안 콘텐츠 문제를 해결하려면 개발자가 Copilot과 상호 작용하고 코드가 개발자의 기대에 도달할 때까지 생성된 코드를 반복할 수 있도록 하는 추가 방법이 필요합니다.

Copilot 생성 코드의 품질을 향상시킵니다. 제안 콘텐츠 문제에서 주요 유형은 LOW QUALITY SUGGESTION(27) 및 NONSENSICAL SUGGESTION(13)입니다. Imai 등의 실험. [9]는 인간 쌍 프로그래밍과 비교하여 Copilot이 상당한 양의 코드를 생성할 수 있지만 테스트 중에 더 많은 코드 삭제가 발생한다는 사실을 발견하여 Copilot의 코드 품질 개선의 필요성을 강조했습니다. Birdet al. [20]은 Copilot이 때때로 사용자가 보고한 것처럼 독특하고 무의미한 코드 제안을 제공하며 그 중 일부에는 개인 정보가 포함될 수 있음을 관찰했습니다. 또한, 안전하지 않은 제안과 덜 효과적인 제안은 각각 두 가지 인스턴스만 있지만 이는 주로 사용자가 이러한 종류의 문제를 감지하는 데 어려움을 겪고 이를 신고할 의향이 적기 때문이라고 생각합니다. Pearceet al. [6]은 Copilot에서 생성된 1,689개의 코드 조각 중 40%가 취약한 것으로 나타났습니다. Copilot의 연속적인 반복을 고려할 때 제안의 품질에 대한 정기적인 평가를 수행하는 것이 필수적입니다.

Copilot을 사용하면 코딩 프로세스가 변경되고 코드 제안을 확인하는 데 드는 시간 비용이 늘어나 코드 설명이 매우 중요해집니다. 우리 연구에서는 이해할 수 없는 제안(8)이 네 번째로 가장 일반적인 제안 콘텐츠 문제로 선정되었습니다. 일부 사용자는 코드 제안이 너무 길어서 가독성이 떨어지는 문제를 언급했습니다. 이는 Copilot이 비교적 복잡한 제안을 제공하거나 사용자가 특정 도메인의 코딩 경험이 부족한 경우 코드 논리를 이해하고 정확성을 확인하는 데 시간이 많이 걸릴 수 있음을 나타냅니다. Wang 등의 연구. [21]은 AI 생성 코드를 사용하면 상당한 검토 압력이 발생할 수 있음을 보여줍니다. 따라서 우리는 AI 코딩 도구(예: Copilot)가 소프트웨어 개발의 다양한 작업에 소요되는 시간 할당을 변화시킬 것이라고 믿습니다. 우리는 코드 설명과 관련된 네 가지 기능 요청을 관찰했으며 Copilot 팀은 이 기능을 확장하는 데 중점을 두고 있습니다. Copilot X에 도입된 채팅 기능[15]은 이미 상세한 코드 설명을 제공할 수 있지만 그 정확성은 후속 단계에서 추가 실험 평가가 필요합니다.

지적 재산권과 저작권을 고려하세요. 저작권 및 정책 문제의 수는 예상보다 약간 높으며, 데이터 추출 과정에서 사용자와 GitHub 저장소 소유자 모두의 많은 우려를 관찰했습니다. Birdset al. [20]은 또한 Copilot의 코드 제안에 저작권이 어떻게 적용되는지에 대한 몇 가지 논의를 확인했습니다. 우리 연구의 목표는 이러한 문제와 Copilot의 비오픈소스 특성에 대한 평가를 제공하는 것이 아닙니다. 이는 Copilot의 목표, 대상 사용자, 비즈니스 모델 등 다양한 요소에 따라 달라지는 복잡한 문제이기 때문입니다. 그러나 우리는 Copilot 팀이 이러한 문제를 해결하기 위한 조치를 취해 사용자 개인 정보와 지적 재산을 보호하면서 안정적이고 고품질의 코드 생성 서비스를 제공할 수 있다고 주장합니다.