Дослідити проблему означає наполовину вирішити її. Першим кроком до подолання тероризму онлайн є вивчення функціоналу платформ, придатних для терористів, та встановлення основних шляхів поширення нелегальної інформації. Цей матеріал є своєрідною  кульмінацією дискусії про екстремістський контент у мережі, адже зосереджується на способах боротьби з цим явищем.

Державна стежка з добрих намірів

Держава встановлює заборону тероризму онлайн на різних рівнях: законодавчому, виконавчому та судовому. Іноді регулювання є вдалим, але, як показує практика, далеко не завжди. 

Організація Freedom House у звітах за 2017-2018 роки відзначила, що щонайменше 21 країна блокувала доступ до соцмереж. У Шрі-Ланці уряд ухвалив це рішення після поширення контенту про теракт, що спричинив загибель 350 осіб. Проте повне блокування соцмереж не перемогло тероризм. Більше того, владні структури почали використовувати цей метод свавільно: під егідою захисту меншин блокувався контент, що стосується політичної чи соціальної дискусії. Відтак, користувачі не мали доступу до величезних масивів легальної інформації внаслідок одного теракту. 

ЄСПЛ у нещодавніх рішеннях щодо блокувань чітко встановив, що такі дії порушують права людини. Наприклад, у Флавус проти Росії, Суд наголосив, що наявність екстремістських матеріалів на платформі не є підставою для блокування всього ресурсу, адже це обмежує доступ до легальних матеріалів та є непропорційним, явно необґрунтованим заходом.

Втім, проблема блокування полягає не лише в цьому. Повне блокування ресурсу позбавляє потерпілих можливості комунікувати з рідними під час чи одразу після терористичних атак. Також загальна ефективність блокувань неодноразово ставилася під сумнів у зв’язку з: 

• швидким створенням нових спільнот чи акаунтів. І хоча вони не мають аналогічної кількості підписників (новий акаунт з контентом ІДІЛ мав в середньому 8,37 підписників на день, а заблокований – близько 43,8), факт продовження нелегальної діяльності вказує на недієвість блокування як способу боротьби з екстремізмом онлайн;
• переміщенням нелегального контенту на інші ресурси (див. аргументацію ЄСПЛ у справі Akdeniz v Turkey);
• використанням даркнету;
• використанням VPN, інших обхідних програм тощо. 

Окрім блокувань, держави використовують і менш радикальні способи протидії терористам. Схожі методи екстремістських онлайн-кампаній дозволяють передбачити поведінку заборонених організацій завдяки моніторингу публічної діяльності в мережі. Тому органи правопорядку не лише реагують на заяви про поширення закликів до тероризму, а і проводять розслідування постфактум. Так, у Італії поліція вирахувала прихильника ІДІЛу, а у Британії парламент планує створити окремий підрозділ у міській поліції Лондона для боротьби з тероризмом онлайн.

Попри зусилля держав з протидії тероризму онлайн, є велика проблема невизначеного статусу самих платформ. Через те, що суди не визнають їхньої відповідальності за надання сервісу для терористів, мотивація сервісів до боротьби з терористичним контентом є низькою. Зокрема, у 2016 році після масових розстрілів у Флориді та загибелі 49 осіб внаслідок терористичної пропаганди у Facebook, Twitter та Youtube, родичі загиблих намагалися притягнути ці мережі до відповідальності. Суд не встановив причинно-наслідкового зв’язку між поширенням контенту та діями соцмереж, відмовивши у задоволенні позову. Так само вирішувалися більшість справ про притягнення платформ до відповідальності. 

Неспроможність держави встановити критерії відповідальності сервісів та ігнорування судами платформ, як посередників для терористичного контенту – це основні причини повільного розвитку механізмів протидії нелегальній діяльності онлайн.

(Не)стандартизований екстремізм

З одного боку, заборона екстремістської діяльності існує на всіх рівнях функціонування соцмереж: від приватних переписок до публічних дописів. З іншого – занепокоєння викликає загальний характер цієї заборони. 

Визначення терористичної організації, надане Facebook, неодноразово критикували експерти Ради ООН з прав людини за надмірну всеохопність, через яку видаляють дозволені висловлювання. Так, Facebook недостатньо імплементує рекомендації Ради Безпеки ООН та інших міжнародних органів. Twitter досі не має окремої заборони на фінансування терористичної діяльності, згадуючи її між рядків у положенні Стандартів спільноти щодо невикористання сервісу для сприяння екстремізму. Telegram передбачає можливість розкриття особи власника акаунту на запит від органів влади, якщо його підозрюють у забороненій діяльності. Але у переліку нелегальних дій – лише публічні заклики до насилля.

Насправді, питання навіть не в деталізованості Стандартів спільноти платформ, а в готовності і спроможності реалізувати захисні механізми на практиці. 

Поряд із розробкою таких механізмів, політика платформ передбачає поширення навчальних матеріалів. Наприклад, будь-яке відео на Youtube чи допис у Facebook здобувають популярність здебільшого через велику кількість реакцій, коментарів і поширень від користувачів. І навіть якщо вони здійснюють репост, аби засудити зміст допису, це все одно популяризує публікацію. 

Тому соцмережам слід звертати увагу на освітню частину своєї діяльності та підвищувати медійну грамотність користувачів: повідомляти, що екстремістські дописи не варто поширювати чи коментувати, єдина прийнятна опція – скарга на такі матеріали. 

Захисним механізмом є і обмеження граничної кількості поширень. WhatsApp передбачив у механізмі функціонування сервісу, що повідомлення не можна пересилати більше 5 разів. Так аудиторія нелегального контенту скорочується у десятки, якщо не сотні разів.

Однією з наймасштабніших і, на жаль, мало обговорюваних проблем є америкоцентристський підхід у формуванні політик передових платформ. Керівні принципи Facebook щодо запобігання терористичному контенту, розроблені у тісній співпраці з Microsoft, Twitter і Youtube, орієнтуються переважно на протидію ісламістському екстремізму, при цьому забуваючи локальні загрози та інші небезпечні рухи. Ці політики розроблені у Сполучених Штатах – для та про американського споживача. 

Однак, політики платформ формуються під впливом не лише внутрішніх, а й зовнішніх чинників, що дозволяє певною мірою збалансувати америконцентристську модель. Більшість світових соцмереж, як-от Twitter, Youtube, Facebook, Google і Snapchat, долучилися до програми Єврокомісії #NoPlace4Hate, що зобов’язує їх видаляти очевидно нелегальний контент у строк до 24 годин (зокрема, порнографію, мову ворожнечі, заклики до тероризму). Це адаптує сервіси до європейських вимог роботи з нелегальною інформацією. На додачу, є репутаційні ризики, які підштовхують платформи до співпраці з іноземними урядами. 

Навіть у проєктах із залученням іноземних експертів з уваги випадає ширина користувацької аудиторії мереж, та різниця екстремістського контенту залежно від регіону. Глобально цю проблему можна вирішити, створивши раду соцмереж, що базувалася б на відносно пропорційному географічному представництві регіонів та дозволяла б комплексно реагувати на загрози.

Штучний інтелект – панацея від тероризму?

Більшість компаній дедалі активніше задіюють штучний інтелект для виявлення порушень на платформі. Facebook з 2017 року використовує автоматичні алгоритми для пошуку терористичного контенту. Що передбачає цей механізм? 

• Виявлення збігів із зображеннями, вже позначеними як екстремістські матеріали.
• Багатомовність та встановлення лінгвістичних індикаторів протиправного контенту.
• Видалення мереж терористичних комунікацій (алгоритм аналогічний до реакції на координовану неавтентичну поведінку – масове блокування або видалення акаунтів, які залучені у заборонену діяльність чи підтримують її поширеннями, реакціями, коментарями тощо).
• Швидке видалення нових фейкових акаунтів. При цьому відзначимо, що Facebook не розкриває алгоритм для виявлення зв’язку новоствореного акаунту з нещодавно видаленим, що потенційно створює загрозу для приватності користувачів.

Автоматичне видалення терористичного контенту неодноразово обговорювали в рамках міжнародних форумів. Протягом Інтернет-форуму ЄС було напрацьовано загальні рекомендації щодо заборони хостингу нелегальних матеріалів, покращення системи повідомлень компетентним органам державної влади, встановлення строків для видалення чи блокування доступу до такого контенту (пропонований строк – 1 година) і залучення модераторів разом зі штучним інтелектом для уникнення помилок. З рекомендацій можна зробити висновок, що рівень експертних обговорень зростає, але питання реалістичності стандартів, їхньої економічної доцільності та відсутності негативного ефекту для легальної інформації залишається відкритим.

Втім, штучний інтелект не такий ідеальний, як здається. Він припускається численних помилок: не відрізняє аналітичний матеріал від закликів до тероризму, видаляючи легальну інформацію. Алгоритми також можна легко обійти, модифікувавши зображення чи відео, щоб вони не розпізнавалися системою. Яскравим прикладом є існування 8chan, де саркастичні зображення, що часто є незаконними, залишаються онлайн через модифікації їхніх форми і змісту. 

Також штучний інтелект, видаляючи матеріали з платформи, знищує докази злочинної поведінки користувачів. Виникає ситуація, коли платформа, аби уникнути вторинної відповідальності за нелегальний контент, позбавляє органи правопорядку можливості належним чином розслідувати порушення.

Особливу небезпеку становлять онлайн-трансляції. Цілодобовий моніторинг їхньої легальності потребує великої кількості модераторів, що, своєю чергою, означає надмірні фінансові та ресурсні витрати для платформи. Водночас, автоматичні алгоритми неспроможні належним чином відслідковувати такі порушення. У випадку терористичної атаки у Новій Зеландії онлайн-трансляція тривала 17 хвилин, а потім її активно поширювали інші акаунти на Youtube, Twitter та WhatsApp. 

Як наслідок, користувачі закликали платформи змінити принципи роботи з контентом у такій формі. Не знайшовши іншого виходу, Facebook довелося тимчасово обмежити функцію онлайн-трансляцій. Цей крок явно не вирішив проблему. Наразі немає універсального способу протидії екстремістському контенту в режимі “прямого ефіру”, втім в перспективі штучний інтелект демонструє вищу спроможність своєчасно реагувати на порушення, ніж модератори.

Особливим викликом є боротьба з місцевим тероризмом, адже більшість політик соцмереж орієнтовані на ІДІЛ, Хезболлу та інші масштабні організації. Щоб подолати проблему або принаймні знизити ризики, платформі слід наповнювати штучний інтелект інформацією, орієнтованою  на локальні контексти, додавати текстові комбінації і семантичні значення словесних конструкцій. Подібний підхід вже адаптовано відносно дописів, пов’язаних із закликами до суїциду, насилля та дитячої порнографії (додаток PhotoDNA встановлює чи містять зображення заборонені матеріали та полегшує їх подальше видалення). 

Інша пропозиція з покращення алгоритмів передбачає створення бази даних, що накопичуватиме інформацію з багатьох ресурсів та за рахунок її аналізу встановлюватиме динаміку і методи медійних кампаній екстремістів. Втім, проблема полягає у фінансовій доцільності та часових витратах на організацію подібного механізму, а також у загальних сумнівах щодо його спроможності передбачати поведінку екстремістів онлайн.

Санітари мережі

Найпродуктивніший спосіб модерувати контенту на платформі – задіяти людський ресурс (“human review”). Перевагою є як детальний аналіз, так і можливість уникати помилок, притаманних штучному інтелекту в процесі автоматичного реагування на скарги. Діяльність модераторів дозволяє регулярно оновлювати алгоритми системи, роблячи механізм досконалішим та точнішим. 

Багато платформ також надали можливість користувачам позначати (“flagging”) контент як нелегальний. Після появи такої позначки інформація потрапляє на перевірку до модератора, що значно спрощує пошук масштабних кампаній терористів та пришвидшує видалення порушень.

Втім, поруч з перевагами існують прогалини. По-перше, кваліфікована оцінка великих обсягів контенту призводить до значних витрат з боку сервісу – Youtube довелося витратити 50 млн доларів для оцінки відео, на які накладається реклама, щоб уникнути монетизації екстремістського контенту. Будь-яке нове явище: хештеги, емоційні реакції, емодзі, оновлення таргетингових механізмів – все це потребує уваги модераторів, адже автоматичні алгоритми не в змозі правильно реагувати на порушення. Розробка адекватної відповіді на зловживання потребує часу. 

Виходом може бути врахування висновків експертних обговорень при вдосконаленні механізмів сервісу, а також регулярний моніторинг тенденцій зловживання функціоналом. Наразі він проводиться зі значними зволіканнями, зважаючи на винахідливість терористів у їхніх медійних кампаніях. 

По-друге, мовний аспект перешкоджає модераторам визначати і своєчасно видаляти екстремістський контент регіонально. Прикладом може слугувати неспроможність Facebook правильно кваліфікувати дописи про заворушення у М’янмі. Так, американець, який жодного дня не прожив за межами Сполучених Штатів і не має лінгвістичної освіти, навряд зможе правильно зрозуміти публікацію, що містить мову ворожнечі, дискримінацію, заклики до насилля чи геноциду. 

Селище у М’янмі, знищене під час етнічного протистояння. Джерело: Вікіпедія

Водночас, Місія ООН з установлення фактів та Міжнародний кримінальний суд встановили, що геноцид у М’янмі значною мірою культивувався за допомогою соцмереж та їхньої неспроможності вчасно видаляти нелегальний контент. Так само у справі Mugesera v Canada суд встановив, що незнання локального контексту призвело до фактично безперешкодного поширення мови ворожнечі: хто б міг передбачити, що вираз “таргани” щодо політичних опонентів спричинить насилля у Руанді? Аналогічною є ситуація з екстремістським контентом – евфемізми і діалектизми приховують оригінальний вміст дописів.

Також часто можна стикнутися з таргетованою реакцією лише на масштабні атаки. Зі згаданого прикладу Нової Зеландії помітно, що Facebook після появи відео терористичної атаки, кинув усі сили модераторів на видалення нелегального контенту, що стосувався цієї події. Таким чином видалили близько 1,5 млн записів цієї події протягом 24 годин з належною оцінкою контенту. Чи чинять так платформи в менш резонансних випадках?

Недооцінений ключовий гравець

Крім держави і платформ, важливим актором є громадянське суспільство. За допомогою соцмереж провадиться велика кількість кампаній з протидії терористичним акціям, а платформи швидше дізнаються про нелегальний контент, нові способи його поширення та потенційні методи боротьби з діяльністю екстремістів. Так, у Кенії організація Digital Humanitarian зосереджує свою діяльність на підвищенні суспільної обізнаності щодо протидії тероризму, поширює історії потерпілих, повідомляє органи правопорядку про можливі акти тероризму через моніторинг активностей у соцмережах тощо.

Не менш важливим є поширення антитерористичних наративів. З цією метою в рамках Інтернет-форуму ЄС створили Civil Society Empowerment Programme, що сприятиме фінансуванню громадянського суспільства для напрацювання такого контенту. Крім цього, ООН створила окремий департамент у відповідь на “міграцію” тероризму в мережу. Одним з найбільш кричущих випадків, що посприяв цій ініціативі, стала поява реклами з вакансією на посаду менеджера з комунікацій для ІДІЛу.

Для платформ доцільно використовувати аналітичні матеріали, створені громадським сектором. Наприклад, Dialnet Foundation публікує статті з описом тактик джихадистів та способів ефективного реагування на подібні дії як платформами, так і державою. Імплементація експертних рекомендацій суттєво полегшить діяльність соцмереж. 

Крім цього, платформам слід звертати більше уваги на резолюції Ради Безпеки ООН щодо залученості індивідів у терористичну діяльність та, відповідно, блокувати акаунти з неправомірним контентом. Сьогодні в рамках міжнародних проєктів створюються списки з посиланнями на сторінки осіб, які залучені до екстремізму чи його фінансування. Все, що залишається платформам – слідкувати за оновленнями таких баз даних і вчасно реагувати на порушення в межах їхнього сервісу.

При цьому важливо пам’ятати, що завдання платформ – дотримуватися стандартів і співпрацювати з органами правопорядку, а не ставати “поліцейськими” і власноруч карати порушників, видаляючи будь-який контент за власним бажанням.

Синергія спротиву екстремізму

Швидка реакція – основна запорука успішної протидії тероризму онлайн. Проте для адекватної реакції платформи потребують чіткої межі між дозволеним і нелегальним. Ці стандарти не може розробити власноруч команда модераторів. Дослідники вказують, що критерії оцінки контенту варто встановлювати через інститути співрегулювання – тобто зусиллями держави разом з провідними гравцями у медійній сфері. 

Слід пам’ятати, що платформи роблять неоціненну послугу для органів правопорядку – зберігають інформацію про осіб, задіяних у нелегальних активностях. Так, зокрема, різні додатки дозволяють вирахувати соціальні контакти терористів, встановити приблизний час вчинення терористичного акту та навіть визначити місцезнаходження організації. Єдиним питанням, що потребує вирішення у цьому випадку, є розробка належної законодавчої бази для того, щоб держава могла у разі необхідності збирати дані легально, а не свавільно втручаючись у право на приватність (див. висновок Генерального адвоката ЄС щодо способів і методів боротьби з тероризмом).

Не менш корисним є створення спільних баз даних, які наповнюють модератори платформ, експерти від міжнародних організацій та урядів. Наразі подібні бази даних стосуються здебільшого мови ворожнечі. Наприклад, hatebase охоплює 3,651 термін у 97 мовах зі 178 країн світу, що значно полегшує оцінку нелегального контенту. Нещодавно Snapchat, LinkedIn та Instagram створили подібну базу даних з інформацією терористичного змісту, але кількість матеріалів у ній є обмеженою. Проте цей крок вказує на позитивні тенденції у готовності мереж до кооперації з метою подолання екстремізму.

Крім цього, важливо спонукати платформи до децентралізованої модерації контенту і, водночас, централізованої відповідальності за прогалини у політиках. Так, соцмережі не матимуть змоги ховатися за необізнаністю у локальних особливостях регулювання інформаційного середовища і не зможуть перекладати провину на розробників регіональних політик. Це підвищить якість роботи, підштовхуючи до співпраці з урядами та громадським сектором.

Кінець епохи екстремістського контенту

Платформи працюють у режимі, який за жодних умов не може гарантувати стовідсоткової захищеності від екстремістського контенту. Тому основне питання полягає у мінімізації шкоди. Для цього сервісам слід усвідомити, що нехтування безпековими правилами призводить до суттєвих витрат у довготривалій перспективі, в той час як спроба монополізації права регулювати обіг інформації на платформі – лише уповільнює вирішення проблеми. 

Водночас, державам слід поступово відходити від спроб контролювати кожен квадратний міліметр Всесвітньої мережі. Альтернативою є кооперація з платформами й громадським сектором для розробки єдиних стандартів. Чи готові до такого уряди і самі платформи? Практика показує, що суперечок не уникнути. Чи буде це ефективним? Час покаже. Але відомо напевно, що глобальні проблеми потребують узгоджених і зважених рішень.