Службу психического здоровья раскритиковали за эксперимент с использованием чат-бота на основе ИИ

Службу психического здоровья раскритиковали за эксперимент с использованием чат-бота на основе ИИ

Сервис психологической поддержки Koko в качестве эксперимента провел консультации с использованием нейросетевых технологий — вместо сообщений от психотерапевтов пользователи получали советы, сгенерированные чат-ботом GPT-3. В январе 2023 года о действиях Koko написал американский журнал Vice, после чего эксперимент подвергся критике: комментаторы назвали его неэтичным, указав на то, что он мог быть потенциально опасен для его участников, которые к тому же не давали информационного согласия.

На приеме у робота-консультанта

Для проведения эксперимента компания выбрала платформу Discord, чтобы «связать пользователей не только с терапевтами и консультантами, но и с реальными людьми, которые действительно их понимают». На сервере пользователи отправляли сообщения боту Koko, который перед этим задавал им несколько вопросов с вариантами ответов.

Сообщение, которое видели пользователи перед началом консультации
Сообщение, которое видели пользователи перед началом консультации

Затем GPT-3 генерировал оптимальное решение проблемы, а реальный человек контролировал ИИ и мог корректировать его реакцию в случае необходимости. В коротком видеоролике Роб Моррис, соучредитель компании Koko, продемонстрировал, как работает нейросетевая модель на собственном примере. Важно отметить, что пользователи думали, что общаются с настоящим специалистом, а не с чат-ботом на основе ИИ.

Искусственный интеллект оказал помощь примерно 4000 человек. Сообщения, полученные от бота, были оценены значительно выше, чем советы реальных психотерапевтов. Однако когда клиенты узнали об эксперименте, то оказались неудовлетворены и почувствовали беспокойство из-за «симулированной эмпатии», — отметил Моррис в своем блоге в X (ранее Twitter)*. По его словам, люди высоко оценивают работу консультанта, если не знают, что общаются с машиной. И обесценивают все положительные результаты, когда узнают о взаимодействии не с реальным специалистом.

Общественная реакция

Вскоре после публикации статьи журналом Vice пользователи задались вопросом, одобрен ли эксперимент Институциональным наблюдательным советом (Institutional Review Board, IRB). В США считается незаконным проводить исследования на людях без юридического согласия, если только IRB не сочтет его необязательным.

Институциональный наблюдательный совет (IRB) представляет собой независимый комитет, который рассматривает методы, предложенные для исследований, проводимых в этом учреждении, чтобы убедиться, что проекты являются этичными.
Институциональный наблюдательный совет (IRB) представляет собой независимый комитет, который рассматривает методы, предложенные для исследований, проводимых в этом учреждении, чтобы убедиться, что проекты являются этичными.

Эмили М. Бендер, американский лингвист и профессор Вашингтонского университета, рассказала онлайн-изданию Motherboard, что «все, что обозначается как поддержка психического здоровья, очевидно, является деликатным вопросом. Это нельзя просто назвать экспериментом без тщательной этической проверки и информированного согласия». Эту мысль поддержал и профессор Университета Западного Лондона, Люк Старк, который назвал недопустимым обман пользователей без веской причины, независимо от того, используют ли они подсказки о совместной работе с ботом, предоставленные ИИ в начале консультации, или нет».

На обвинения Моррис ответил тем, что действия Koko не попадают под эти требования, поскольку никто не планировал публиковать результаты в открытый доступ: «Это не создало никакого дополнительного риска для пользователей, никакого обмана, и мы не собираем никакой личной информации или защищенной медицинской информации (ни адреса электронной почты, ни номера телефона, ни IP-адреса, ни имени пользователя и т. д.)».

Chat GPT в роли психолога

Попытки внедрения ИИ в психотерапию становятся активнее с каждым годом. Уже сейчас исследования использования нейронных сетей в качестве психологов проводятся в различных компаниях и университетах по всему миру, например, в Google Brain, MIT Media Lab, University of Cambridge, Stanford University, Microsoft Research, IBM Research, University of California, Berkeley и многих других.

Несмотря на то, что рынок автоматизированных машин и других ИИ технологий для поддержания психологического здоровья все еще достаточно молод, по данным американской газеты The New York Times уже к 2017 году насчитывалось свыше 10 тысяч WellTech-приложений1, включая обучающих, психологических и терапевтических чат-ботов2. Кроме того, уже сейчас созданы роботы, которые способны оказать человеку необходимую эмоциональную поддержку.

Footnotes

  1. WellTech — технологии, поддерживающие людей в их стремлении к личным жизненным целям и счастью, помогающие сохранить или восстановить психологическое здоровье.
  2. Терапевтический чат-бот — диалоговый инструмент на базе искусственного интеллекта, созданный для содействия психологам, психотерапевтам и медицинским работникам в улучшении самочувствия клиентов, страдающих ментальными расстройствами, психологическими травмами или стрессом.

    *Социальная сеть запрещена на территории РФ.

LEAVE A REPLY