대규모 언어 모델을 위한 효율적인 생성 안내: 초록 및 소개

링크 표

• 초록 및 소개
• LLM 샘플링 및 유도 생성
• 반복적인 FSM 처리 및 인덱싱
• 반복적 구문 분석에 대한 확장
• 토론, 참고자료 및 감사의 말

추상적인

이 기사에서 우리는 신경 텍스트 생성 문제가 유한 상태 기계의 상태 간 전환 측면에서 건설적으로 재구성될 수 있는 방법을 보여줍니다. 이 프레임워크는 언어 모델의 어휘에 대한 색인 생성을 허용함으로써 정규식 및 문맥 없는 문법을 사용하여 텍스트 생성을 안내하는 효율적인 접근 방식으로 이어집니다. 이 접근 방식은 모델에 구애받지 않으며 도메인별 지식과 제약 조건을 적용할 수 있으며 생성된 텍스트의 구조를 보장하여 신뢰할 수 있는 인터페이스를 구축할 수 있습니다. 토큰 시퀀스 생성 프로세스에 오버헤드가 거의 추가되지 않으며 기존 솔루션보다 성능이 훨씬 뛰어납니다. 구현은 오픈 소스 Python 라이브러리 개요 [Louf 및 Willard]에서 제공됩니다.

1. 소개

우리는 정규식 또는 CFG(문맥 자유 문법)를 준수하는 LLM(대형 언어 모델)[Vaswani et al., 2017, Radford et al., 2019]에서 토큰 시퀀스를 생성하는 문제에 관심이 있습니다. 이러한 종류의 유도된 LLM 생성은 미세 조정만으로는 캡처하기 어렵거나 비용이 많이 드는 엄격한 형식 요구 사항에서 LLM 모델 출력을 사용할 수 있도록 만드는 데 사용됩니다[Beurer-Kellner et al., 2023, Scholak et al., 2021, Poesia et al. al., 2022a, Rabinovich 등, 2017, Weng, 2021, Dong 등, 2023, Poesia 등, 2022b, Geng 등, 2023, Wang 등, 2023]. 이러한 기능은 최근 프롬프트 라이브러리 및 인터페이스에서 일반화되었지만[Microsoft, 2023, Beurer-Kellner et al., 2023, Rickard, 2023a,b], 해당 기능의 적용 가능성은 확장 비용으로 인해 제한될 수 있습니다.

대부분의 유도 생성 편향 구현은 LLM 어휘에서 토큰의 확률을 결정하는 데 사용되는 점수 값을 편향합니다. 일반적이고 충분한 접근 방식에는 제약 조건과 이전에 샘플링된 토큰에 따라 어떤 토큰이 유효한지 결정하고 유효하지 않은 토큰의 확률을 0으로 설정하기 위해 전체 어휘에 대한 반복적인 평가가 포함됩니다. 이 접근 방식에는 생성된 각 토큰에 대해 고정된 O(N) 비용이 수반됩니다. 여기서 N은 LLM 어휘의 크기입니다.

우리는 정규식의 FSM(Finite State Machine) 공식을 사용하여 안내 생성을 임의로 시작 및 중지하고 각 단계에서 0이 아닌 확률 토큰 집합을 효율적으로 얻을 수 있는 인덱스를 구성할 수 있는 접근 방식을 제안합니다. 결과는 평균적으로 O(1)의 비용이 드는 알고리즘입니다.

정규식의 경우 우리의 접근 방식은 Kuchnik et al.과 가장 유사합니다. [2023]은 언어 모델의 어휘에 대해 정의된 FSM을 얻기 위해 변환기 공식을 사용하며 이러한 FSM에는 여기에 설명된 지수와 동일한 정보 및 확장 이점이 많이 포함되어 있습니다. 우리의 접근 방식은 완전한 변환기 추상화가 필요하지 않으며 기본 자동 장치 및 해당 구현을 수정하지 않고도 기존의 효율적인 정규식 라이브러리를 보다 쉽게 확장하는 데 사용할 수 있습니다.

더 중요한 것은 우리의 인덱싱 접근 방식을 CFG 및 LALR(1) 파서로 확장하여 널리 사용되는 데이터 형식 및 프로그래밍 언어(예: JSON, Python, SQL 등)에 따라 효율적인 안내 생성을 허용할 수 있다는 것입니다. 구문 분석으로의 전환은 기존 LALR(1) 구문 분석기 구성 요소 및 작업을 확장하여 이루어지며, 이를 다시 기존 구문 분석기 구현을 확장하는 데 사용할 수 있는 접근 방식으로 만듭니다.