Как ошибка в номере превратила водителя в угонщика: сбой камер Flock

Автомобильные камеры Flock, распознающие номерные знаки, установлены полицией по всей территории США. История одного писателя, которого эта система по ошибке приняла за угонщика, выследила и привела к аресту, разошлась по сети и наглядно показала, чем оборачивается автоматизированная слежка при малейшей неточности в исходных данных.

Пропавшая цифра

У дилера в Лос-Анджелесе якобы угнали автомобиль с нью-джерсийскими номерами 34 03 DTM. Но при составлении полицейского отчёта номер занесли в систему Flock просто как 34 DTM — только пять крупных символов, без маленькой цифры в середине. Именно так его и «видел» алгоритм: он не считывал нестандартную мелкую цифру и начал рассылать оповещения полиции, едва завидев на дорогах Range Rover.

Проблема оказалась куда шире одной машины. У множества автомобилей из медиапарка Jaguar Land Rover стоят производственные номера Нью-Джерси той же структуры — 34 ## DTM. А значит, под подозрение попадала каждая такая машина везде, где у местной полиции есть договор с Flock. Только за ту неделю в Миннесоте отслеживали ещё четыре автомобиля с номерами вида 34 ## DTM; писатель просто попался первым. Прекратить это можно было единственным способом — заставить полицию Лос-Анджелеса исправить исходный отчёт и обновить данные в системе.

«Всё работало правильно»

Flock отреагировала на волну критики, заявив, что её системы функционировали корректно, и переложив вину на полицию. По словам представителя компании, машинное обучение честно прочитало то, что ему поручили: в список внесли символы 34 DTM — их система и нашла. Её спросили «есть ли это здесь?» — и ответ был «да». Она не стала уточнять, нет ли рядом чего-то ещё.

Более того, даже будь злополучная цифра нормального размера, совпадение всё равно бы сработало — так систему настроили по просьбе правоохранителей. Полиции нередко приходится начинать розыск по неполному номеру, поэтому она хочет получать сигнал при совпадении любых введённых символов. Проверять, действительно ли 34 10 DTM — это искомый 34 DTM, должен уже сам офицер.

Не только машины

Отдельно глава Flock извинился за то, что ранее называл «террористами» активистов, отслеживающих расположение камер компании, — впрочем, наблюдатели расценили это скорее как смену PR-стратегии, чем взглядов.

Между тем, по данным, изученным изданием 404 Media, полиция использует сеть Flock и для поиска людей, а не только автомобилей. Среди запросов — «крупный мужчина в чёрно-белой шапке», «человек на скейтборде», «человек в оранжевом жилете и строительной каске». Иногда в них фигурируют раса или признаки политических взглядов цели. Как и любая полицейская технология слежки, эта не обходится без злоупотреблений.

Источник: Schneier on Security