Làm thế nào khó để loại bỏ các cộng đồng hận thù trực tuyến?

Authors:

(1) Anh V. Vu, Đại học Cambridge, Trung tâm tội phạm mạng Cambridge ([email protected]);

(2) Alice Hutchings, Đại học Cambridge, Trung tâm tội phạm mạng Cambridge ([email protected]);

(3) Ross Anderson, Đại học Cambridge và Đại học Edinburgh ([email protected]).

Bàn trái

Abstract và 1 Introduction

2. deplatforming và các tác động

2.1 Công việc liên quan

2.2 Sự gián đoạn của trang trại Kiwi

3. phương pháp, tập hợp dữ liệu và đạo đức, và 3.1. diễn đàn và thảo luận bảng hình ảnh

3.2. Telegram Chat và 3.3. Web Traffic and Search Trends Analytics

3.4. Tweet được thực hiện bởi cộng đồng trực tuyến và 3.5. cấp phép dữ liệu

3.6 Quan điểm đạo đức

Tác động đến hoạt động và lưu lượng truy cập diễn đàn, và 4.1.Tác động của sự gián đoạn lớn

4.2 Di chuyển nền tảng

4.3 Phân chia giao thông

5.1 Tác động đối với các bên liên quan và 5.1 Cộng đồng khởi xướng chiến dịch

5.2 Phản ứng của ngành

5.3 Nhà điều hành diễn đàn

5.4 Các thành viên của forum

Căng thẳng, thách thức và hậu quả và 6.1. hiệu quả của sự gián đoạn

2.2 Tự do ngôn luận vs tự do ngôn luận

6.3 Vai trò của ngành công nghiệp trong việc kiểm soát nội dung

6.4 Tác động chính trị

6.5 Giới hạn và công việc trong tương lai

7. kết luận, công nhận, và tham chiếu

Phụ lục A.

Abstract—Legislators and policymakers worldwide are debating options for suppressing illegal, harmful and undesirable material online. Drawing on several quantitative data sources, we show that deplatforming an active community to suppress online hate and harassment, even with a substantial concerted effort involving several tech firms, can be hard. Our case study is the disruption of the largest and longest-running harassment forum KIWI FARMS in late 2022, which is probably the most extensive industry effort to date. Despite the active participation of a number of tech companies over several consecutive months, this campaign failed to shut down the forum and remove its objectionable content. While briefly raising public awareness, it led to rapid platform displacement and traffic fragmentation. Part of the activity decamped to Telegram, while traffic shifted from the primary domain to previously abandoned alternatives. The forum experienced intermittent outages for several weeks, after which the community leading the campaign lost interest, traffic was directed back to the main domain, users quickly returned, and the forum was back online and became even more connected. The forum members themselves stopped discussing the incident shortly thereafter, and the net effect was that forum activity, active users, threads, posts and traffic were all cut by about half. The disruption largely affected casual users (of whom roughly 87% left), while half the core members remained engaged. It also drew many newcomers, who exhibited increasing levels of toxicity during the first few weeks of participation. Deplatforming a community without a court order raises philosophical issues about censorship versus free speech; ethical and legal issues about the role of industry in online content moderation; and practical issues on the efficacy of private-sector versus government action. Deplatforming a dispersed community using a series of court orders against individual service providers appears unlikely to be very effective if the censor cannot incapacitate the key maintainers, whether by arresting them, enjoining them or otherwise deterring them.

1. giới thiệu

Nội dung trực tuyến hiện nay phổ biến, có thể truy cập rộng rãi và có ảnh hưởng trong việc định hình tranh luận công cộng. Tuy nhiên, trong khi các trang web trực tuyến tạo điều kiện cho tự do ngôn luận, họ làm điều tương tự đối với lời nói thù hận [1], và ranh giới giữa hai trường hợp thường bị tranh cãi. Một số trường hợp theo đuổi, bắt nạt và doxxing như Gamergate đã có hậu quả thực tế, bao gồm tội phạm bạo lực và huy động chính trị [2]. Kiểm soát nội dung đã trở thành một chức năng quan trọng của các công ty công nghệ, nhưng cũng là một không gian tranh cãi chính trị, vì các tài khoản lạm dụng có thể ảnh hưởng đến các cộng đồng trực tuyến theo những cách khác nhau đáng kể [3]. Các nền tảng xã hội trực tuyến sử dụng các cơ chế khác nhau, chẳng hạn như trí tuệ nhân tạo

Deplatforming có thể có nghĩa là chặn các người dùng cá nhân, nhưng đôi khi mục tiêu không phải là một diễn viên xấu duy nhất, mà là toàn bộ cộng đồng, chẳng hạn như một người tham gia vào tội phạm [11]. Nó có thể được thực hiện bởi ngành công nghiệp, như khi Cloudflare, GoDaddy, Google và một số công ty khác chấm dứt dịch vụ cho DAILY STORMER sau cuộc tập trận Unite the Right ở Virginia năm 2017 [12] và cho 8CHAN vào tháng 8 năm 2019 [13]; hoặc bởi các cơ quan thực thi pháp luật, như với FBI phá vỡ dịch vụ DDoS-forhire vào năm 2018 [14], [15] và 2022 [16], [17], và nắm bắt RAID FORUMS vào năm 2022 [18]. Sự gián đoạn của ngành công nghiệp thường là ngắn ngủi; cả 8CHAN và DAILY STOR

KIWI FARMS là diễn đàn quấy rối trực tuyến lớn nhất và kéo dài nhất [21]. Nó thường được liên kết với các chiến dịch trolling và doxxing thực tế chống lại nữ quyền, các nhà vận động quyền đồng tính và các nhóm thiểu số như người khuyết tật, người chuyển giới và những người tự kỷ; một số đã tự tử sau khi bị quấy rối [22]. Mặc dù khó chịu và gây tranh cãi rộng rãi, diễn đàn đã trực tuyến trong một thập kỷ và đã được bảo vệ bởi sự bảo vệ DDoS của Cloudflare trong nhiều năm. Điều này kết thúc sau khi quấy rối nghiêm trọng của các thành viên diễn đàn của một nhà hoạt động trans Canada, đỉnh cao trong một sự cố quấy rối vào tháng 8 năm 2022.[1] Điều này dẫn đến một chiến dịch do cộng đồng dẫn đầu trên Twitter để gây áp lực cho Cloudflare và các công ty

Các nghiên cứu hiện có đã điều tra hiệu quả của việc loại bỏ nền tảng cho người dùng phương tiện truyền thông xã hội [28], [29], [30], [31], [32], [33], [34], tuy nhiên đã có nghiên cứu hạn chế - cả định lượng và định tính - về hiệu quả của sự gián đoạn trong ngành chống lại các cộng đồng thù ghét độc lập như các diễn đàn bảng tin tức, có xu hướng có khả năng phục hồi hơn vì nội dung có thể được sao lưu và khôi phục hoàn toàn bởi các quản trị viên. bài báo này điều tra xem ngành công nghiệp - các thực thể cung cấp cơ sở hạ tầng kỹ thuật số cho các dịch vụ trực tuyến như lưu trữ và nhà cung cấp tên miền, dịch vụ bảo mật và bảo vệ, cơ quan chứng nhận và mạng lưới ISP - xử lý tốt như thế nào với một trang web thù ghét và quấy rối.

Mục tiêu cuối cùng của chúng tôi là đánh giá hiệu quả của nỗ lực, và để hiểu tác động và thách thức của deplatforming như một phương tiện để ngăn chặn sự thù hận và quấy rối trực tuyến. các câu hỏi nghiên cứu chính của chúng tôi được giải quyết trong các phần sau: tác động của deplatforming trên hoạt động và lưu lượng truy cập diễn đàn được đánh giá trong §4; những thay đổi trong hành vi của các thành viên diễn đàn khi nơi tụ tập của họ bị gián đoạn, cũng như tác động đến các nhà điều hành diễn đàn và cộng đồng đã bắt đầu chiến dịch được kiểm tra trong §5. Chúng tôi thảo luận về vai trò của ngành trong việc giải quyết quấy rối trực tuyến, kiểm duyệt và quy định nội dung, cũng như các tác động pháp lý, đạo đức và chính sách của sự cố trong §6. Thu thập dữ liệu và phân tích của chúng tôi đã

Bài báo này làCó sẵn trong Archivetheo giấy phép CC BY 4.0 DEED.

[1] Đây là khi một kẻ quấy rối báo cáo sai về một tội ác bạo lực đang diễn ra tại nhà nạn nhân, dẫn đến sự xuất hiện của một nhóm vũ khí và chiến thuật đặc biệt (SWAT) để tấn công các cơ sở, đặt nạn nhân và gia đình vào nguy cơ.