Компания Midjourney, которая предлагает услугу генерации изображений с помощью искусственного интеллекта, приостановила бесплатные пробные версии своего сервиса. Как пишет Фокус, об этом сообщает The Verge.
На такой шаг разработчики нейросети пошли после того, как несколько ее сгенерированных изображений — включая фальшивые изображения ареста Дональда Трампа и Папы Римского в стильной куртке — стали вирусными в интернете, и многие приняли подделки за реальные фотографии.
В чем корень проблемы
Дэвид Хольц, основатель и генеральный директор Midjourney, объявил об этом изменении ссылаясь на "необычайный спрос и злоупотребление пробными версиями". Ранее Midjourney позволяла любому зарегистрироваться, чтобы использовать свое программное обеспечение через Discord, предлагая 25 бесплатных генераций изображений перед тем, как начать взимать плату за подписку от $10 в месяц. Многие, не желая платить, просто регистрировали новые аккаунты, так что такой строгий шаг может быть вызван борьбой не столько с дипфейками, сколько с "халявщиками", считают некоторые эксперты.
Многие ИТ-специалисты давно предупреждали об опасном потенциале ИИ для создания дезинформации, но это раньше не было большой проблемой, потому что подделки легко распознавались. Однако возможности генеративного ИИ набирают обороты и волна поддельных фото, как в случае с Трампом и Папой Римским, наверняка не последний инцидент.
Midjourney выпустила пятую версию своего программного обеспечения, где значительно улучшила качество генерирования изображений, особенно с людьми. Эти улучшения привели к тому, что ряд изображений Midjourney стали вирусными в последние недели. На фейках засветились не только Дональд Трамп с Папой, но и Эммануэль Макрон, Илон Маск.
Чем слабее модерация – тем больше фейков
Многие эксперты полагают, что нейросеть стала жертвой слабой модерации и лояльной политики в отношении генерируемых изображений. Правила Midjourney более снисходительны, чем у некоторых конкурентных сервисов (например, DALL-E), но более строгие, чем у других (например, Stable Diffusion). Нейросеть поддерживает список запрещенных слов и тем (зависит от страны зарегистрированного пользователя), но четко перечня этих "стоп-фраз" так до сих пор и не опубликовано. Тем более сам Хольц в прошлом году заявлял, что ограничений никто не заметит, если не будет усиленно пытаться сгенерировать "запрещенку". Но все же теперь компания объявила, что внесла в запретный список слово "арестован", например.
Как отличить дипфейк от реальности
ИТ-специалисты в сфере машинного обучения советуют обращать внимание на мелкие детали изображения, такие как аномалии в освещении, тени или отражения. Генеративный ИИ, несмотря на всю реалистичность, все еще далек от совершенства и это можно легко заметить по "фото" с арестом Трампа, например. Если посмотреть чуть внимательней, то легко увидеть, что все изображение слишком картинное, как бы нарисованное, есть множество характерных для картинных мазков размытостей.
Если приглядеться, то пока еще можно отличить сгенерированную ИИ фотографию от настоящейОднако по мере развития технологии искусственного интеллекта станет все сложнее отличить реальное изображение или видео от поддельного. Поэтому необходимо повышать осведомленность общественности о потенциальных рисках дипфейков и развивать критическое мышление и медиа грамотность, говорят специалисты.
