Seberapa sulit untuk menghancurkan komunitas kebencian online?

Authors:

(1) Anh V. Vu, Universitas Cambridge, Pusat Kejahatan Cyber Cambridge ([email protected]);

(2) Alice Hutchings, University of Cambridge, Cambridge Cybercrime Centre ([email protected])

(3) Ross Anderson, Universitas Cambridge, dan Universitas Edinburgh ([email protected]).

Tabel dari kiri

Abstrak dan 1 Introduksi

Deplatforming dan dampaknya

2.1 Pekerjaan terkait

2.2 Pertengkaran Pertanian Kiwi

Metode, Datasets, dan Etika, dan 3.1. forum dan diskusi papan gambar

3.2. telegram chats dan 3.3. web traffic dan search trends analytics

3.4. tweet dibuat oleh komunitas online dan 3.5. lisensi data

6.3 Pertimbangan Etika

Dampak pada aktivitas dan lalu lintas forum, dan 4.1. dampak gangguan besar

4.2 Perkembangan Platform

4.3 Fragmensi lalu lintas

Pengaruh terhadap stakeholder yang relevan dan 5.1. komunitas yang memulai kampanye

5.2 Tanggapan Industri

5.3 Operator Forum

5.3 Anggota Forum

Ketegangan, Tantangan, dan Implikasi dan 6.1.

6.2 Censorship versus Kebebasan Berekspresi

6.3 Peran industri dalam moderasi konten

4.4 Implikasi Kebijakan

6.5 Pembatasan dan Kerja Masa Depan

Kesimpulan, Pengakuan, dan Referensi

Lampiran A.

Abstract—Legislators and policymakers worldwide are debating options for suppressing illegal, harmful and undesirable material online. Drawing on several quantitative data sources, we show that deplatforming an active community to suppress online hate and harassment, even with a substantial concerted effort involving several tech firms, can be hard. Our case study is the disruption of the largest and longest-running harassment forum KIWI FARMS in late 2022, which is probably the most extensive industry effort to date. Despite the active participation of a number of tech companies over several consecutive months, this campaign failed to shut down the forum and remove its objectionable content. While briefly raising public awareness, it led to rapid platform displacement and traffic fragmentation. Part of the activity decamped to Telegram, while traffic shifted from the primary domain to previously abandoned alternatives. The forum experienced intermittent outages for several weeks, after which the community leading the campaign lost interest, traffic was directed back to the main domain, users quickly returned, and the forum was back online and became even more connected. The forum members themselves stopped discussing the incident shortly thereafter, and the net effect was that forum activity, active users, threads, posts and traffic were all cut by about half. The disruption largely affected casual users (of whom roughly 87% left), while half the core members remained engaged. It also drew many newcomers, who exhibited increasing levels of toxicity during the first few weeks of participation. Deplatforming a community without a court order raises philosophical issues about censorship versus free speech; ethical and legal issues about the role of industry in online content moderation; and practical issues on the efficacy of private-sector versus government action. Deplatforming a dispersed community using a series of court orders against individual service providers appears unlikely to be very effective if the censor cannot incapacitate the key maintainers, whether by arresting them, enjoining them or otherwise deterring them.

1. pengenalan

Konten online sekarang prevalen, dapat diakses secara luas, dan berpengaruh dalam membentuk pidato publik. Namun sementara situs online memfasilitasi kebebasan berbicara, mereka melakukan hal yang sama untuk pidato kebencian [1], dan garis antara keduanya sering dipertanyakan. Beberapa kasus penganiayaan, bullying, dan doxxing seperti Gamergate telah memiliki konsekuensi dunia nyata, termasuk kejahatan kekerasan dan mobilisasi politik [2]. Moderasi konten telah menjadi fungsi penting dari perusahaan teknologi, tetapi juga ruang kekacauan politik, karena akun pelecehan dapat mempengaruhi komunitas online dengan cara yang berbeda secara signifikan [3]. Platform sosial online menggunakan berbagai mekanisme, misalnya, kecerdasan buatan [4], untuk mendeteksi, memoderasi, dan menekan konten yang menentang [5], termasuk teknik “kekuatan” dan “ringan” [6]. Ini berkisar dari melaporkan pengguna konten

Deplatforming dapat berarti memblokir pengguna individu, tetapi kadang-kadang targetnya bukan satu pemain jahat, tetapi seluruh komunitas, seperti yang terlibat dalam kejahatan [11]. Hal ini dapat dilakukan oleh industri, seperti ketika Cloudflare, GoDaddy, Google dan beberapa perusahaan lain mengakhiri layanan untuk DAILY STORMER setelah rally Unite the Right di Virginia pada 2017 [12] dan untuk 8CHAN pada Agustus 2019 [13]; atau oleh penegak hukum, seperti dengan FBI menghapus layanan DDoS-forhire pada 2018 [14], [15] dan 2022 [16], [17], dan menangkap RAID FORUMS pada 2022 [18]. Disrupsi industri seringkali singkat; kedua 8CHAN dan DAILY STORMER muncul kembali atau dipindahkan tidak lama setelah terganggu. Intervensi sering lambat dan kurang efektif, dan dampaknya juga mungkin sementara [11]. Setelah FBI

KIWI FARMS adalah forum pelecehan online terbesar dan paling lama berjalan [21]. Hal ini sering dikaitkan dengan kampanye trolling dan doxxing kehidupan nyata terhadap feminist, aktivis hak gender dan minoritas seperti cacat, transgender, dan individu autis; beberapa telah membunuh diri setelah diganggu [22]. Meskipun tidak menyenangkan dan secara luas kontroversial, forum ini telah online selama satu dekade dan telah dilindungi oleh perlindungan DDoS Cloudflare selama bertahun-tahun. Ini berakhir setelah pelecehan serius oleh anggota forum seorang aktivis trans Kanada, berpuncak dalam insiden swatting pada Agustus 2022.[1] Ini mengakibatkan kampanye yang dipimpin masyarakat di Twitter untuk menekan Cloudflare dan perusahaan teknologi lainnya untuk meninggalkan forum [23]. Ini meningkat dengan cepat, menghasilkan perhatian sosial media aktif yang signifikan dan headlines mainstream. Sejumlah perusahaan teknologi kemudian

Studi yang ada telah menyelidiki efektivitas deplatforming pengguna media sosial [28], [29], [30], [31], [32], [33], [34], namun ada penelitian terbatas – baik kuantitatif dan kualitatif – pada efektivitas gangguan industri terhadap komunitas kebencian mandiri seperti forum bulletin-board, yang cenderung lebih tahan lama karena konten dapat sepenuhnya disimpan dan dipulihkan oleh admin.

Tujuan akhir kami adalah untuk mengevaluasi efektivitas upaya, dan memahami dampak dan tantangan deplatforming sebagai sarana untuk menekan kebencian dan pelecehan online. pertanyaan penelitian utama kami ditangani dalam bagian-bagian berikutnya: dampak deplatforming pada aktivitas dan lalu lintas forum dinilai di §4; perubahan dalam perilaku anggota forum ketika tempat pertemuan mereka terganggu, serta dampak pada operator forum dan komunitas yang memulai kampanye diperiksa di §5. kami membahas peran industri dalam mengatasi pelecehan online, censorship dan regulasi konten, serta implikasi hukum, etika, dan kebijakan dari insiden di §6. pengumpulan data dan analisis kami disetujui oleh Lembaga Etika Institusi kami (ERB). data dan skrip kami tersedia untuk para akademisi atas permintaan.

Kertas ini adalahTersedia di Arsipdengan lisensi CC BY 4.0 DEED.

[1] Ini adalah ketika pelecehan secara palsu melaporkan kejahatan kekerasan yang sedang berlangsung di rumah korban, mengakibatkan kedatangan tim senjata-dan-taktik khusus (SWAT) untuk menyerbu premis, menempatkan korban dan keluarga dalam bahaya.