감정 확률 벡터 추정: 감정 유도 꼬리 프롬프트로 LLM 조사

링크 표

• 초록 및 소개
• 감정을 유도하는 꼬리 프롬프트로 LLM 심문
• Amazon 리뷰의 Emotion에 대한 PCA 분석
• 미래의 일
• 결론
• 감사의 말과 참고자료

2. 감정을 불러일으키는 꼬리 프롬프트로 LLM 심문

이 작업에서 우리는 Facebook의 오픈 소스 LlaMa2 70억 중량 LLM을 핵심 엔진으로 사용했습니다[2]. 프롬프트 후에 원시 토큰 확률에 대한 액세스를 허용하는 LLM을 사용해야 했습니다. 이 모델은 32GB RAM을 갖춘 Mac Studio에서 실행되었습니다. 이러한 하드웨어와 모델의 조합을 사용하여 아래 주어진 감정 사전의 감정 설명자의 확률을 계산하는 데 2분이 걸렸습니다.

2.1. 감정 사전

영어에는 많은 단어와 적절한 문맥에서 이러한 단어의 사용 예를 제공하는 광범위한 문헌이 있습니다. LLM의 목적을 위해 단어의 의미를 전달하는 것은 단어의 문맥입니다. 독자는 문맥을 이해한다면 그 단어가 사용된 문맥을 통해 익숙하지 않은 단어의 의미를 추론할 것입니다. 예를 들어, '산탄총이 토끼를 분해했다.' 의미가 맥락에 따라 어떻게 조정될 수 있는지 보여줍니다. 꼬리 프롬프트에 의해 생성된 컨텍스트는 연관된 단어 클래스를 선호합니다. 이 논문에 자세히 설명된 실험에서는 '이것을 읽으면 기분이 좋아집니다'라는 감정 설명을 이끌어내기 위해 다음 꼬리 프롬프트가 사용되었습니다. 특정 감정을 유발하는 꼬리 프롬프트는 설명자의 특정 하위 클래스를 선호할 가능성이 높지만 이를 연구하는 것은 이 문서의 범위를 벗어납니다.

감정 설명의 광범위한 샘플을 제공하기 위해 다음 단어가 선택되었습니다.

수용, 감탄, 동경, 애정, 두려워하는, 동요, 고뇌, 공격적인, 경보, 놀란, 소외, 놀라움, 양면성, 즐거움, 분노, 고뇌, 짜증나는 기대, 불안한, 무관심, 우려, 거만한, 자기 주장이 강한, 놀란, 세심함, 매력 , 혐오감, 경외심, 당황함, 어리둥절함, 쓴맛, 쓴 달콤함, 행복, 지루함, 뻔뻔함, 우울함, 차분함, 평온함, 부주의함, 배려심, 자선, 건방진, 명랑함, 밀실공포증, 강압적, 편안함, 자신감, 혼란, 경멸, 만족, 용기, 비겁함, 잔인함, 호기심, 냉소, 어리둥절함, 낙담, 기뻐함, 의기소침함, 우울함, 욕망, 절망, 결심, 실망, 불신, 당황함, 불편함, 불만, 불만, 혐오감, 낙담, 싫어함, 당황, 방향 감각 상실, 낙담, 불쾌감, 산만함, 괴로움, 혼란스러움, 지배적, 의심, 두려움, 추진력, 멍청함, 열망, 엑스터시, 의기양양함, 당혹감, 공감, 매혹, 즐거움, 깨달음, 권태, 열정, 질투, 깨달음, 행복감, 분노, 흥분, 기대, 매혹, 두려움, 벗겨짐, 집중, 좋아함, 친근함, 공포, 좌절, 분노, 기쁨, 우울, 우울, 감사, 탐욕, 슬픔, 투덜대기, 투덜대기, 죄책감, 행복, 증오, 증오, 무기력, 향수병, 희망, 절망, 경악함, 환대, 굴욕, 겸손, 상처, 히스테리, 게으름, 참을성 없음, 무관심, 분개, 심취, 분노, 불안, 통찰력, 모욕, 관심, 호기심, 짜증, 고립, 질투, 유쾌함, 기쁨, 환희, 친절, 게으름, 좋아하다, 혐오하다, 외롭다, 그리움, 미치광이, 사랑, 색욕, 미치다, 우울하다, 비참하다, 인색하다, 뒤섞이다, 겸손하다, 변덕스럽다, 굴욕적이다, 신비롭다, 추잡하다, 구역질난다, 부정적, 무시하다, 긴장하다, 향수를 불러일으키다, 마비되다, 완고하다, 불쾌하다 , 낙관적, 분노, 압도됨, 당황함, 편집증적, 열정, 인내, 생각에 잠겨 있음, 난처함, 인내함, 비관적, 연민, 기뻐함, 즐거움, 공손함, 긍정적, 소유욕이 강함, 무력함, 자부심, 당황함, 분노, 발진, 덜컥덜컥, 후회, 거부됨 , 편안한, 안도하는, 꺼리는, 회한, 분개, 체념, 안절부절, 혐오감, 무자비한, 슬픔, 만족, 겁먹음, 샤덴프로이데, 경멸, 자기 배려, 자기 동정심, 자신감, 자의식, 자기 비판, 자기 - 혐오감, 자기 동기 부여, 자기 연민, 자존심, 자기 이해, 감상, 평온, 수치심, 뻔뻔함, 충격, 잘난척, 슬픔, 악의, 스트레스, 강함, 완고함, 꼼짝 못함, 복종, 고통, 음침함, 놀라움 , 서스펜스, 의심스러운, 동정, 부드러움, 긴장, 공포, 감사, 전율, 피곤한, 관용, 고통, 승리의, 고민하는, 신뢰, 불확실성, 훼손된, 불안, 불행한, 불안한, 불안한, 확신할 수 없는, 당황, 복수심이 강한, 악랄한, 경계 , 취약한, 약한, 비애, 걱정하는, 합당한, 진노.

이 단어 세트는 어떤 방식으로든 완전하거나 최종적이지 않습니다. 감정 설명자로의 복귀를 제한하지 않고 꼬리 프롬프트를 사용하면 감정 형식을 추출하기가 쉽지 않은 일반적인 와플 반응이 도출됩니다.

2.1.1. 감정 확률 벡터 추정

LlaMa2 [2]는 개발자가 프롬프트에 대한 응답으로 반환된 추정 토큰 가중치에 액세스할 수 있는 방식으로 출시되었습니다. LlaMa2의 내부 어휘 크기는 약 30,000개 토큰입니다. 이는 LlaMa 2가 시퀀스에서 다음 토큰의 확률을 추정할 때 확률 벡터에 30,000개의 요소가 있음을 의미합니다. 감정 설명자 목록의 일부 단어는 하나 이상의 토큰으로 구성되며, 이 경우 순방향 조건부 확률이 사용됩니다.

그림 2.1.1은 Amazon 리뷰 텍스트 '나는 Fitbit Inspiration 2에 대한 부정적인 리뷰를 많이 읽었습니다. 기회를 잡고 내가 주문한 것이길 바랐습니다. 효과가 있었던 훌륭한 것 중 하나가 될 것입니다. 불행히도 그렇지 않았습니다. 포장을 풀고 충전하고 앱을 다운로드했어요. 해가 지기 전에 이를 신고 산책을 나갔습니다. 내 휴대전화에도 내 걸음 수를 추적하는 Google Fit 앱이 있습니다. 전화기는 청바지 주머니에 있었어요. 집에 와서 둘을 비교해보니 구글 핏은 4,458걸음, 핏빗은 1,168걸음이라고 하더군요. 분명히 Fitbit은 동네에서 보행기를 밀면서 사용할 수 없는 손목 동작으로 작동합니다. 설명서를 다운로드했는데 클립(포함되지 않음)에 넣을 수 있다는 것을 알았습니다. 그것은 나에게 도움이 될 것입니다. 그래서 모든 기능을 스크롤할 수 없다는 점을 제외하고는 다양한 기능을 스크롤하기 시작했습니다. 스크롤하는 동안 스톱워치를 켰나 봐요. 나는 그것을 끌 수 없었다. 그런 다음 워터락 기능 외에는 아무것도 스크롤할 수 없었습니다. 스톱워치로 돌아가려면 워터락을 켜야 했습니다. 그런 다음 측면 버튼이 작동을 멈췄습니다. 총 5시간을 보냈어요. 짐을 싸서 아마존 반품을 시작했어요. 전액 환불받았어요. 매우 실망스러운.'

책에 대한 50개의 Amazon 리뷰 텍스트는 https://www.amazon.com/dp/B000WM9UK2에서 빌려왔습니다. 리뷰는 대부분 호의적이었습니다. 리뷰 텍스트의 예는 다음과 같습니다. '휴린의 아이들은 은혜가 섞인 큰 비극입니다. 처음에 나오는 족보 기록은 이해하기 어려울 수도 있지만 이야기는 매우 빠르게 속도를 얻습니다. 나는 마태복음 서두에 나오는 그리스도의 족보처럼 처음 몇 장의 어려움 때문에 이 이야기에 별 네 개만 주었습니다. 이러한 기록은 두 가지 모두에서 중요하지만 그럼에도 불구하고 통과하기가 어렵습니다. 하지만 나는 여전히 이 책을 추천하고 싶습니다. 이 책은 선한 남자와 여자에게 악의 힘이 끼치는 끔찍한 영향을 묘사하고 있기 때문입니다. 그러나 우리는 비극적인 종말이 오더라도 계속해서 악에 저항해야 합니다. Tolkien의 세계에서 Morgoth가 돌아올 때 그를 영원히 끝내는 사람은 T'urin이라는 사실을 매우 시사합니다. 이 세상에서 사탄이 가장 많이 멸망시키는 사람들은 계시록에서 “그들이 어린양의 피와 그들의 순교(증인, 증언)의 말씀으로 그를 이기었느니라”고 말한 것처럼 궁극적으로 그의 죽음의 일격을 가할 사람들입니다. 튜린과 같은 자, 성경에 나오는 욥과 같은 자.'

그림 2.1.2는 처리된 50개 리뷰 모두에 대한 감정 벡터를 보여줍니다. 제품 구매 시 경험할 가능성이 가장 높은 10가지 감정은 우울함, 친절함, 향수, 피곤함, 절망적, 외로움, 희망, 차분함, 게으름, 자신감이었습니다.