이 문서는 CC BY-NC-SA 4.0 DEED 라이센스에 따라 arxiv에서 볼 수 있습니다.
저자:
(1) 방예진, 홍콩과기대학교 인공지능연구센터(CAiRE);
(2) 이나연, 홍콩과기대학교 인공지능연구센터(CAiRE);
(3) Pascale Fung, 홍콩과기대학교 인공지능연구센터(CAiRE).
이 연구는 벤치마크의 영어 기반 작업 설정을 준수한다는 점에서 제한됩니다. 분석은 미국과 영어의 정치적 이념으로 제한됩니다. 또한 BART 모델의 1024개 하위 토큰 입력 제한은 입력으로 포함될 수 있는 편향된 소스 기사의 수를 제한합니다. 이러한 제한은 잠재적으로 연구 결과의 범위에 영향을 주지만 자연어 처리 연구에서는 드문 일이 아니라는 점에 유의하는 것이 중요합니다. 그럼에도 불구하고 향후 연구에서는 더 광범위한 정치적 이데올로기(미국 외 정치 이데올로기) 및 언어에 대한 대체 방법을 탐구하고 더 긴 입력 텍스트를 통합하여 더 포괄적인 범위의 원본 기사를 캡처함으로써 이러한 제한 사항을 해결함으로써 이점을 얻을 수 있습니다.
프레임이 있는 편향된 기사는 특정 인물이나 집단, 주제에 대한 독자의 의견에 영향을 미쳐 양극화를 초래할 수 있기 때문에 광범위하게 연구되어 왔습니다. 이 문제를 해결하기 위해 우리 연구에서는 모델이 생성된 요약에서 프레이밍 편향을 줄일 수 있도록 통합할 수 있는 손실 함수를 도입하는 데 중점을 둡니다.
그러나 자동 기술은 광범위한 영향을 신중하게 고려하여 개발하지 않으면 의도하지 않은 부정적인 결과를 초래할 수도 있다는 점을 인식하는 것이 중요합니다. 예를 들어, 기계 학습 모델은 출력에 편향을 도입하여 알려진 소스 편향을 다른 형태의 편향으로 대체할 수 있습니다(Lee et al., 2022). 이러한 위험을 완화하기 위해 Lee et al. (2022)은 자동으로 생성된 중립 요약과 함께 원본 기사에 대한 명시적인 언급을 포함할 것을 제안했습니다. 또한, 우리의 작업은 인간이 생성한 기사에서 프레이밍 편견을 제거하는 것을 목표로 하고 있지만, 생성 모델의 잘 알려진 문제인 세대의 환각 가능성이 있습니다(Ji et al., 2023). 따라서 이러한 자동 기술을 실제 사용 사례에 구현하려면 가드레일(예: 소스 참조 제공)을 갖추는 것이 중요합니다.
이러한 어려움에도 불구하고 우리 연구는 사회의 양극화를 줄이기 위해 인간이 만들어낸 프레이밍 편견을 완화하려는 노력에 기여할 수 있습니다. 사용 사례 중 하나는 프레이밍 편견 없이 다중 뷰 합성 기사를 제공하는 과정에서 인간 전문가를 돕는 것입니다. 더 넓은 사회적 영향 측면에서 우리의 작업이 온라인 사용자가 온라인에서 더 양극화된 정보에 액세스하는 데 도움이 되기를 바랍니다.
2021. 센터 – "센터" 미디어 편견 등급은 무엇을 의미합니까?
라미 발리, 조반니 다 산 마르티노, 제임스 글래스, 프레슬라프 나코프. 2020. 우리는 당신의 편견을 탐지할 수 있습니다: 뉴스 기사의 정치적 이데올로기를 예측합니다. 2020년 EMNLP(자연어 처리의 경험적 방법에 관한 회의) 진행 과정, 4982~4991페이지, 온라인. 전산언어학협회.
Adriana Beratšová, Kristína Krchová, Nikola Gažová, Michal Jirásek. 2016. 프레이밍 및 편견: 최근 연구 결과에 대한 문헌 검토. 중앙 유럽 경영 저널, 3(2).
데니스 종(Dennis Chong)과 제임스 N 드럭만(James N Druckman). 2007. 프레이밍 이론. 아누. 폴리트 목사. Sci., 10:103–126.
로버트 M 엔트먼. 2002. 프레이밍: 분열된 패러다임의 명확화를 향하여. McQuail의 매스커뮤니케이션 이론 독자. 런던, 캘리포니아, 뉴델리: 세이지.
로버트 M 엔트먼. 2007. 프레이밍 편향: 권력 분배의 미디어. 커뮤니케이션 저널, 57(1):163–173.
로버트 M 엔트먼. 2010. 미디어 프레이밍 편견과 정치적 권력: 2008년 캠페인 뉴스의 기울기 설명. 저널리즘, 11(4):389-408.
Alexander R Fabbri, Irene Li, Tianwei She, Suyi Li 및 Dragomir R Radev. 2019. 다중 뉴스: 대규모 다중 문서 요약 데이터 세트 및 추상 계층 모델. arXiv 사전 인쇄본 arXiv:1906.01749
Lisa Fan, Marshall White, Eva Sharma, Ruisi Su, Prafulla Kumar Choubey, Ruihong Huang 및 Lu Wang. 2019. 눈에 보이는 것: 사실 보도라는 렌즈를 통한 미디어 편견. arXiv 사전 인쇄 arXiv:1909.02670.
매튜 겐츠코프(Matthew Gentzkow)와 제시 M 샤피로(Jesse M Shapiro). 2006. 미디어 편견과 평판. 정치경제학저널, 114(2):280-316.
매튜 겐츠코프, 제시 M 샤피로, 다니엘 F 스톤. 2015. 시장의 미디어 편견: 이론. 미디어 경제학 핸드북 1권, 623~645페이지. 엘스비어.
어빙 고프먼. 1974. 프레임 분석: 경험의 조직에 관한 에세이. 하버드 대학 출판부
펠릭스 함보르그, 카르스텐 도네이, 벨라 깁. 2019. 뉴스 기사의 미디어 편견 자동 식별: 학제간 문헌 검토. 디지털 도서관에 관한 국제 저널, 20(4):391–415.
펠릭스 함보르그, 노먼 메우쉬케, 벨라 깁. 2017. 매트릭스 기반 뉴스 집계: 다양한 뉴스 관점 탐구. 2017년 ACM/IEEE 디지털 도서관 합동 회의(JCDL), 1~10페이지. IEEE.
Ziwei Ji, 이나연, Rita Frieske, Tiezheng Yu, Dan Su, Yan Xu, Etsuko Ishii, Ye Jin Bang, Andrea Madotto 및 Pascale Fung. 2023. 자연어 생성의 환각에 대한 조사. ACM 컴퓨팅. 생존, 55(12).
다니엘 카너먼과 아모스 트버스키. 2013. 전망 이론: 위험에 따른 결정 분석. 재무 의사 결정의 기본 사항 핸드북: 1부, 99~127페이지. 월드 사이언티픽.
필립 라반(Philippe Laban)과 마티 A 허스트(Marti A Hearst). 2017. 뉴스렌즈: 장기적인 뉴스 스토리 구축 및 시각화. 뉴스 워크숍의 이벤트 및 기사 간행물, 1~9페이지.
이나연, 방예진, 유티젱, 안드레아 마도토, 파스칼 펑. 2022. NeuS: 프레이밍 편견을 완화하기 위한 중립적 다중 뉴스 요약. 2022년 전산 언어학 협회 북미 지부 회의 진행: 인간 언어 기술, 페이지 3131-3148, 미국 시애틀. 전산언어학협회.
Mike Lewis, Yinhan Liu, Naman Goyal, Marjan Ghazvininejad, Abdelrahman Mohamed, Omer Levy, Ves Stoyanov 및 Luke Zettlemoyer. 2019. Bart: 자연어 생성, 번역 및 이해를 위한 시퀀스 간 사전 훈련을 제거합니다. arXiv 사전 인쇄 arXiv:1910.13461.
Yujian Liu, Xinliang Frederick Zhang, David Wegsman, Nicholas Beauchamp 및 Lu Wang. 2022. POLITICS: 이념 예측 및 입장 탐지를 위한 동일 기사 비교를 통한 사전 학습. 전산언어학협회 조사 결과: NAACL 2022, 1354~1374페이지, 미국 시애틀. 전산언어학협회.
사이프 모하마드. 2018. 20,000개의 영어 단어에 대해 원자가, 각성 및 지배력에 대한 신뢰할 수 있는 인간 평가를 획득했습니다. 전산언어학협회 제56차 연차총회 진행(제1권: 장편 논문), 174~184페이지.
Fred Morstatter, Liang Wu, Uraz Yavanoglu, Stephen R Corman 및 Huan Liu. 2018. 온라인 뉴스의 프레임 편향 식별. 소셜 컴퓨팅의 ACM 트랜잭션, 1(2):1–18.
Kishore Papineni, Salim Roukos, Todd Ward 및 WeiJing Zhu. 2002. Bleu: 기계 번역의 자동 평가 방법. 전산언어학협회 제40차 연례회의 절차, 311-318페이지.
박순일, 강승우, 정상영, 송준화. 2009. 뉴스큐브: 미디어 편견을 완화하기 위해 뉴스의 다양한 측면을 전달합니다. 컴퓨팅 시스템의 인적 요소에 관한 SIGCHI 컨퍼런스 진행, 443~452페이지.
디트람 A 슈펠레. 2000. 의제 설정, 프라이밍 및 프레이밍 재검토: 정치적 의사소통의 인지 효과에 대한 또 다른 시각. 매스컴과 사회, 3(2-3):297-316.
모든 측면. 2018. 미디어 편향 등급. Allsides.com.
티모 스핀데, 크리스티나 크로이터, 볼프강 가이스마이어, 펠릭스 함보르그, 벨라 깁, 헬게 기제. 2021. 편향적이라고 생각하시나요? 미디어 편견에 대한 인식을 묻는 방법. 2021년 ACM/IEEE 디지털 도서관 합동 회의(JCDL), 61~69페이지. IEEE.
에스더 반 덴 버그(Esther van den Berg)와 카차 마르커트(Katja Markert). 2020. 정보 편향 탐지의 맥락. 제28회 전산언어학 국제회의 진행, 6315-6326페이지, 스페인 바르셀로나(온라인). 전산언어학 국제위원회.
조지 라이트와 폴 굿윈. 2002. '더 열심히 생각하라'는 간단한 지침을 사용하여 프레이밍 편견을 제거하고 관리 경험이 있는 응답자: '프레임 깨기'에 대해 의견을 제시합니다. 전략적 경영 저널, 23(11):1059–1067.
Jingqing Zhang, Yao Zhao, Mohammad Saleh 및 Peter J. Liu. 2019a. Pegasus: 추상적인 요약을 위해 추출된 간격 문장을 사용한 사전 훈련.
Tianyi Zhang*, Varsha Kishore*, Felix Wu*, Kilian Q. Weinberger 및 Yoav Artzi. 2020. Bertscore: bert를 사용한 텍스트 생성 평가. 학습 표현에 관한 국제 회의에서.
Yifan Zhang, Giovanni Da San Martino, Alberto BarrónCedeno, Salvatore Romeo, 안지선, 곽해운, Todor Staykovski, Israa Jaradat, Georgi Karadzhov, Ramy Baly 등 2019b. Tanbih: 당신이 읽고 있는 내용을 알아보세요. EMNLP-IJCNLP 2019, 223페이지.