Мы общаемся с чат-ботами так, словно эти разговоры конфиденциальны. Но так ли это?
Большинство людей не уверены. В августе были опубликованы результаты опроса 1 944 взрослых жителей США, заказанного DuckDuckGo. Более половины респондентов — 53% — не знали, используют ли их переписки с чат-ботами для обучения моделей. (Используют.)
Лишь четверть опрошенных знала, что переписку с чат-ботом могут истребовать через суд. (Могут.)
Среди тех, кто называет себя энтузиастами ИИ, 56% признались, что доверяли чат-боту то, чего никогда не рассказывали близкому другу, родителю, коллеге, врачу или психотерапевту.
Особенно это характерно для Character.AI — сервиса, где пользователи могут общаться и выстраивать «отношения» с настраиваемыми персонажами, в том числе созданными ими самими и опубликованными для сообщества. Некоторые пользователи Character.AI обсуждают мысли о самоубийстве и самоповреждении, а также сообщают личные сведения: данные о психическом здоровье, возраст, содержание личных чатов и голосовых звонков, глубокие страхи и проблемы в отношениях.
Character.AI была всего лишь развлечением, пока ранее в этом месяце компания не подала заявление о банкротстве и не начала продажу активов под надзором суда.
Пока неизвестно, кому достанется компания и какая часть данных миллионов владельцев аккаунтов будет продана вместе с ней.
Самым ценным активом компании на продажу может оказаться её большая языковая модель (LLM), которую в значительной степени обучали сами пользователи, создавая персонажей и взаимодействуя с ними.
Согласно закону, компания может продать персональные данные пользователей, если такая передача разрешена её политикой конфиденциальности. Политика Character.AI сформулирована крайне расплывчато: в ней сказано, что при продаже компании могут быть раскрыты «определённые сведения». Что именно это означает, неизвестно.
Управление доверительного управляющего США — подразделение Министерства юстиции — просит судью назначить омбудсмена по вопросам конфиденциальности потребителей, который будет консультировать суд о защите данных пользователей. Судья может ограничить продажу «записей» компании, включая пользовательские данные.
Но вот чего многие не понимают: Кодекс о банкротстве не содержит отдельных положений об обученных моделях. Правовой статус больших языковых моделей и данных, на которых их обучали, ещё не определён. Поэтому вполне возможно, что данные, переданные пользователями Character.AI, будут проданы покупателю компании.
Character.AI — лишь наглядный пример. Более серьёзный риск связан со всеми остальными компаниями в сфере ИИ.
Ещё несколько важных фактов о конфиденциальности и больших языковых моделях
Главный вопрос таков: может ли личная или служебная информация, которой поделились в чате, попасть в большую языковую модель — и сможет ли кто-нибудь извлечь её оттуда с помощью подходящего запроса?
Однозначный ответ — «ну, возможно».
Прежде всего, всё зависит от сервиса с чат-ботом. Компании очень по-разному обращаются с содержимым переписок; различия сводятся к четырём вопросам: включено ли по умолчанию использование чатов для обучения, читают ли их сотрудники, как долго они хранятся и применяются ли для показа рекламы.
Крупные компании, предлагающие чат-ботов, обычно стараются успокоить пользователей, говоря о конфиденциальности. Они публикуют настройки защиты данных, но в их собственных правилах признаётся, что переписки обычных пользователей могут по умолчанию использоваться для обучения, просматриваться сотрудниками или и то и другое. Подробные условия различаются от компании к компании.
Показательно, что некоторые компании предлагают корпоративные и бизнес-аккаунты, в которых переписки обрабатываются конфиденциально. Например, их не используют для обучения. То, что бизнес-аккаунтам предоставляют дополнительные средства защиты данных, на мой взгляд, означает признание того, что личные аккаунты не являются конфиденциальными.
Некоторые компании, например OpenAI, позволяют отказаться от использования переписок для обучения. Однако, согласно справочным материалам OpenAI, отключение обучения не удаляет сами чаты.
Есть три основных способа утечки пользовательских данных чат-ботов. Первый — технические сбои. В марте 2023 года ошибка в библиотеке с открытым исходным кодом redis-py позволила некоторым пользователям ChatGPT увидеть названия чужих чатов и, возможно, первое сообщение в новых переписках. В течение девятичасового периода платёжные данные более чем 1% активных подписчиков ChatGPT Plus могли стать доступны другим пользователям. Речь шла об именах, адресах электронной почты и платёжных адресах, типах карт, последних четырёх цифрах их номеров и сроках действия.
Второй способ — публикация переписок. Некоторые чат-боты позволяют делиться чатами, и в результате те могут стать доступными всем — намеренно или случайно. После публикации поисковые системы могут проиндексировать такие переписки и сделать их доступными для поиска. В 2025 году Forbes сообщил, что в результатах Google появилось более 370 000 переписок с Grok после того, как пользователи нажали кнопку «Поделиться». Переписки ChatGPT, которыми поделились пользователи, тоже появлялись в поисковой выдаче, пока OpenAI не отключила эту функцию.
Третий способ — включение переписок в обучающие данные.
Рассмотрим простой пример — адрес электронной почты. Люди часто вставляют в чат письма, чтобы чат-бот подготовил ответ. В таких письмах в заголовке, подписи или и там и там нередко указаны имена, адреса электронной почты и другие сведения.
Я часто задаюсь вопросом: если письма, адресованные одному человеку, сотни раз вставляют в чаты, сможет ли посторонний попросить чат-бота назвать адрес этого человека — и получить его?
В исследовании 2022 года моделям GPT-Neo сообщали только имя человека. Правильный адрес электронной почты они восстанавливали не более чем в 1,24% случаев. Если модели указывали домен, доля успешных ответов возрастала до 16,55%, а после пяти примеров — до 37,06%. Результат также улучшался в зависимости от того, как часто адрес встречался в обучающих данных и сопровождался ли он текстом письма.
Удаление переписки тоже не решает проблему. Несколько генеральных прокуроров штатов заявили, что удаление чатов может не устранить их влияние на уже обученные модели. А Робби Торни из Common Sense Media утверждал, что экспорт или удаление данных «не обязательно означает, что эти данные исчезли из обучения модели».
Важно помнить: в чатах с ИИ люди сообщают не только сведения о себе, но и личную информацию о коллегах, друзьях и родственниках.
Между вашими секретами и всем остальным миром стоит прежде всего то, как поступает компания. Мы рассчитываем, что компании, занимающиеся ИИ, будут хранить нашу информацию в тайне.
Но что произойдёт, если эти компании начнут продавать свои активы?
Когда лопается пузырь ИИ
Разговоры о том, что «пузырь ИИ» вот-вот лопнет, в интернете не утихают.
Как сообщает Reuters, в Китае пузырь ИИ уже лопнул. За последние несколько месяцев китайские акции компаний в сфере ИИ резко подешевели.
По данным Reuters, китайский индекс технологических акций STAR50, рассчитываемый на Шанхайской фондовой бирже, менее чем за четыре месяца упал на 40% относительно июльского максимума, уничтожив около 480 миллиардов долларов рыночной стоимости. Более широкий индекс CSI300 снизился примерно на 20% относительно июньского максимума.
Это не полный крах, но он оказывает давление на котировки американских акций и создаёт дополнительный стимул для передачи бизнеса новым владельцам через продажу или слияние, хотя в Китае этого пока не произошло.
И всё же будущее предсказать невозможно. Какие компании в сфере ИИ обанкротятся, как Character.AI, будут проданы или подвергнутся взлому?
Неизвестно и то, как именно устроены сами чат-боты.
Поэтому нам стоит прислушиваться даже к самым подозрительным и никогда не вводить в чат-боты конфиденциальную информацию. Мы просто не можем доверять ИИ свои секреты.
