Эксперт сравнил систему «Окулус» с ядерным оружием в интернете
Обучение нейросетей для мониторинга контента в интернете может быть чревато негативными последствиями, если к этому процессу не подключить гражданское общество.
Таким мнением поделился омбудсмен по защите прав предпринимателей в интернете Дмитрий Мариничев, комментируя скорое появление на службе Роскомнадзора систему «Окулус», которая будет выявлять экстремистские материалы, порнографию, призывы к массовым беспорядкам и суициду.
«Окулус» будет представлять собой искусственный интеллект. Ее планирует закупить подведомственный Роскомнадзору Главный радиочастотный центр (ГРЧЦ). О соответствующем тендере 20 сентября сообщил «КоммерсантЪ».
Стоимость системы составит 15 млн рублей. В сумму контракта также входят научно-исследовательские работы по изучению возможностей ИИ для автоматизированного выявления запрещенного контента.
«Окулус» сможет распознавать не только тексты с нарушениями, но и фото и видео, содержащие запрещенную символику. Запустить систему хотят уже в 2022 году.
По мнению Дмитрия Мариничева, использование нейросетей в таких целях может таить в себе неочевидные опасности. Дело в том, что теоретически «Окулус» можно обучить не только выявлять противоправный контент, но и следить за публикациями на более глубоком уровне: оценивать их эмоциональный окрас, улавливать скрытые коннотации, подтекст. Дальше с материалами можно «работать в режиме мягкой силы, формируя для него отдельную виртуальную реальность или оказывать на него некое давление», уточнил эксперт в беседе с радиостанцией «Говорит Москва».
Как следствие, это подход будет угрожать свободе слова, а в перспективе – начнет формировать мировоззрение людей. Без общественного контроля, без понимания, чему учатся нейросети и в каких целях, использовать их нельзя.
С другой стороны, распространителей запрещенного контента нужно наказывать. С этим никто не спорит. Но нейросеть должна тоже контрлироваться обществом. В противном случае она рискует превратиться в «новое ядерное оружие» для интернета.
По реальному атомному оружию человечество раньше сумело договориться, выработать общие правила. С информационным оружием необходим тот же подход, поскольку даже в государственных руках оно «должно быть под чётким гражданским контролем».
