ИИ стремится угодить, а не ввести в заблуждение: взгляд ученых

Новости науки
Человек работает с искусственным интеллектом
Человек работает с искусственным интеллектом

В Саратове состоялся X Всероссийский молодежный научный форум «Наука будущего – наука молодых», центральной темой которого стало взаимодействие искусственного интеллекта (ИИ) и человека в контексте гуманитарных вызовов технологической эпохи. Одним из ключевых вопросов, вызвавших оживленную дискуссию среди ведущих российских ученых и молодых исследователей, стал вопрос о способности ИИ сознательно обманывать человека.

Александр Неверов, директор Института психолого-экономических исследований, отметил, что «Теория релевантности информации» подталкивает разработчиков к созданию «дружелюбного» ИИ, который максимально соответствует запросам и ожиданиям пользователя. По его словам, особенность обратной связи, являющейся двусторонним процессом, играет здесь решающую роль.

Директор Института психолого-экономических исследований, профессор Александр Неверов
Директор Института психолого-экономических исследований, профессор Александр Неверов

Профессор Неверов также указал на изменчивость человеческих запросов. Например, в онлайн-кинотеатрах или поисковых системах пользователь в разных состояниях формирует разные запросы. Впоследствии ИИ, «застревая» в «эхе» предыдущих интересов, может затрудняться в предложении новых, релевантных ответов.

«ИИ очень хочет понравиться, он хочет дать такой ответ, чтобы его не критиковали люди, чтобы ему не дали отрицательную, разрушительную обратную связь. В этом смысле он иногда придумывает ответ, которого не смог найти, чтобы потом не сказали, что этого не существует.»

— Александр Неверов

В качестве примера Неверов рассказал о случае, когда чат GPT, пытаясь найти научные журналы по экономической психологии для его коллег, «придумал» пять несуществующих изданий. Позже выяснилось, что ИИ не создал их с нуля, а выдал за журналы уже существующие книги. Ученый подчеркнул, что это не проявление обмана со стороны ИИ, а скорее проблема эффективной коммуникации между пользователем и алгоритмом.

X Всероссийский молодёжный научный форум Наука будущего – наука молодых
X Всероссийский молодёжный научный форум «Наука будущего – наука молодых»

Александр Крайнов, директор по развитию технологий ИИ в Яндексе, предложил математический подход к этой проблеме.

«ИИ всегда придумывает, но при этом зачастую попадает в правду. ИИ сам обучается, впитывая в себя весь интернет. Мы в 100 гигабайт сархивировали весь интернет. Конечно, не может быть архиваций без потерь. Там происходят сумасшедшие потери.»

— Александр Крайнов
Директор по развитию технологий искусственного интеллекта Яндекс Александр Крайнов
Директор по развитию технологий искусственного интеллекта Яндекс Александр Крайнов

Юрий Визильтер, профессор РАН и директор направления «Технологии искусственного интеллекта» ГосНИИАС, выразил мнение, что в скором будущем нас ждут те «фантастические» возможности, о которых писали фантасты.

«В наше время ИИ – волшебная палочка, исполняющая желания, но нам нужно очень точно формулировать свои желания, поскольку очень большой шанс, что они исполнятся. Чтобы результат нас устроил, мы точно должны понять, что сами хотим. К будущему с ИИ точно нужно готовиться, его нужно проектировать уже сегодня.»

— Юрий Визильтер
Директор направления Технологии искусственного интеллекта ГосНИИАС Юрий Визильтер
Директор направления «Технологии искусственного интеллекта» ГосНИИАС Юрий Визильтер

Говоря о технологиях ИИ, которые окажут наибольшее влияние на человечество, Визильтер выделил «LLM-агентов» – виртуальную рабочую силу, активно развивающуюся с 2023 года. Эти агенты, оснащенные внешней памятью и способностью к рассуждению, используют различные инструменты для достижения поставленных целей. Особое внимание уделяется «фундаментальным агентам», не требующим дополнительного обучения.

Большинство ученых на форуме сошлись во мнении, что использование ИИ в науке стало неотъемлемой частью. Современная наука, по их словам, уже давно опирается на алгоритмы ИИ для доставки информации, что обеспечивает беспрецедентную скорость ее развития.


Итоги форума «Наука будущего – наука молодых»

X Всероссийский молодежный научный форум «Наука будущего – наука молодых» включал более 50 мероприятий, среди которых пленарные заседания с участием ведущих мировых ученых, стратегические сессии, круглые столы и мастер-классы.

Участники X Всероссийского молодежного научного форума `Наука будущего – наука молодых`
Участники форума «Наука будущего – наука молодых»
Выступление на X Всероссийском молодежном научном форуме `Наука будущего – наука молодых`
Выступление на форуме

Кульминацией стал финал X Всероссийского конкурса научно-исследовательских работ студентов и аспирантов, на который поступило 3000 заявок от талантливой молодежи из 20 стран мира. Победители конкурса будут приглашены на V Конгресс молодых ученых.

Дмитрий Лебедев
Дмитрий Лебедев

Дмитрий Лебедев. Кандидат физико-математических наук, оставивший академическую карьеру ради популяризации науки. Восемь лет переводит сложные научные открытия на язык, понятный широкой аудитории. Его статьи делают науку увлекательной и доступной. Считает научную журналистику мостом между учеными и обществом.

Обзор новостей из мира софта