Таков вывод нового исследования, которое показало, что одна из форм алгоритма ChatGPT примерно так же точна, как и люди, при ответе на запросы пациентов. Представленные ботом ответы специалистам часто было трудно отличить от ответов группы их коллег.
В перекрестном исследовании, опубликованном в JAMA Network Open, оценивались ответы чат-ботов на 200 вопросов по уходу за глазами с онлайн-форума консультаций. Восемь офтальмологов проанализировали ответы и смогли отличить ответы, сгенерированные человеком, от ответов, сгенерированных ботом, с точностью 61,3%.
Качество ответов было особенно впечатляющим, учитывая, насколько длинными и сложными были некоторые запросы пациентов.
Чат-бот наравне с человеческими ответами
Группа авторов обнаружила, что качество ответов чат-ботов было на уровне человеческих ответов. Вероятность ответов, содержащих неверный или неподходящий материал, составила 77,4% для чат-бота и 75,4% для людей. Риск потенциального вреда от ответов также был схожим. По данным исследователей, вред был признан маловероятным в 86,5% и 84% ответов чат-бота и человека соответственно. Уровень потенциально вредной информации составил 12,6% и 15,1% соответственно, в то время как уровень определенно вредной информации составил 0,9% в обеих формах ответа.
Чат—бот был склонен к случайным "галлюцинациям" — сгенерированным ответам, которые иногда потенциально могли причинить вред. Один из примеров такого поведения: В ответ на вопрос о том, может ли операция по удалению катаракты "уменьшить" глаз, бот ответил, что "удаление катаракты может привести к уменьшению размера глаза".
Предыдущие исследования чат-ботов в офтальмологии с использованием различных методик давали разные результаты. Исследование, проведенное в 2023 году Университетом Эмори в Атланте, штат Джорджия, сообщило, что обучающиеся офтальмологи и ChatGPT-4 (самая последняя версия платформы) указали подходящий диагноз среди трех основных возможных вариантов в 95% и 93% случаев соответственно. Исследователи из Канады, которые вводили вопросы ChatGPT из модуля подготовки к сертификационному тестированию Совета по офтальмологии, сообщили о правильных ответах в 46% случаев.
Приглашаем присоединиться к telegram-каналу OmniDoctor, где вы найдете новости по вашей специальности из лучших зарубежных журналов.
