Discord из-за сбоя забанил более 8000 пользователей за фото с сетками

Компания Discord сообщила, что с мая текущего года сбой в её системе безопасности привёл к ошибочной блокировке более 8000 учётных записей пользователей.

Заявление платформы последовало после волны жалоб, захлестнувшей сервис за последнюю неделю. Пользователи массово сообщали о банах за публикацию изображений с сетчатым узором — таких как шахматные доски, игровые текстуры и даже скриншоты инвентаря из Minecraft.

По всей видимости, автоматическая система модерации ошибочно распознавала подобные «безобидные» картинки как нарушающий правила контент, хотя ничего противоправного они не содержали.

Среди тех, кто прокомментировал ситуацию, — Станислав Вишневский, один из руководителей Discord.

Компания подтвердила масштаб проблемы и признала, что речь идёт именно о технической ошибке в алгоритмах безопасности, а не о преднамеренных действиях модераторов.

Случай в очередной раз демонстрирует риски, связанные с автоматизированной модерацией контента на крупных платформах: системы, обученные распознавать нежелательные изображения, могут давать сбои на визуально похожих, но абсолютно безопасных паттернах — в данном случае на регулярных сетчатых структурах.

Discord пока не уточнил, какие меры будут приняты для восстановления доступа пострадавшим пользователям и как компания планирует исправить работу системы, чтобы избежать подобных инцидентов в будущем.

Источник: The Verge