Как человек, проведший бесчисленные часы в общении с моделями ИИ, я могу с уверенностью сказать, что это впечатляющие технологические достижения, но они определенно не обладают той глубиной понимания, которую мы, люди, воспринимаем как должное. Исследование Массачусетского технологического института служит ярким напоминанием об этом факте, и это все равно, что обнаружить, что фокусы фокусника на самом деле не волшебство, а просто ловкая ловкость рук.
Новейшие модели генеративного искусственного интеллекта способны выдавать удивительные, волшебные результаты, подобные человеческим. Но понимают ли они вообще что-нибудь? Согласно последнему исследованию Массачусетского технологического института (через Techspot), это будет категорическим «нет».
Основная проблема заключается в том, способны ли продвинутые языковые модели, такие как LLM (большие языковые модели), используемые в чат-ботах высшего уровня, создавать точные представления или «мысленные карты» реального мира. По общему мнению среди исследователей Массачусетского технологического института, они не обладают такой способностью.
Чтобы узнать больше, команда из Массачусетского технологического института разработала новые методы оценки производительности ИИ, выходящие за рамки базовой оценки точности ответов. Вместо этого они сосредотачиваются на детерминированных конечных автоматах или DFA, которые составляют основу их процесса оценки.
Детерминированный конечный автомат (DFA) относится к задаче, разбитой на серию связанных действий, управляемых определенным набором правил. Например, в контексте исследования в качестве примера было выбрано исследование улиц Нью-Йорка.
Исследовательская группа Массачусетского технологического института обнаружила, что некоторые модели искусственного интеллекта, разработанные для определения направлений, могут предоставлять удивительно точные пошаговые инструкции по навигации в Нью-Йорке; однако эти результаты достижимы только в идеальных условиях. Когда следователи перекрыли некоторые дороги и ввели объезды, производительность значительно упала. Интересно, что было обнаружено, что внутренние карты, созданные моделями изучения языка в процессе обучения, были пронизаны несуществующими улицами и другими несоответствиями.
По словам ведущего автора исследования Кейона Вафы, было удивительно, насколько быстро производительность снижалась после введения обходного пути. Если мы просто закроем 1% потенциальных маршрутов, точность резко упадет с почти 100% до всего лишь 67%.
Основной урок здесь заключается в том, что поразительная точность LLM в определенных контекстах может вводить в заблуждение. «Часто мы видим, как эти модели делают впечатляющие вещи, и думаем, что они, должно быть, что-то поняли о мире. Я надеюсь, что мы сможем убедить людей, что это вопрос, над которым нужно очень тщательно подумать, и нам не нужно полагаться на нашу собственную интуицию. чтобы ответить на него», — говорит старший автор статьи Ашеш Рамбачан.
По сути, это исследование подчеркивает истинную природу последних моделей изучения языка (LLM). По сути, они просто прогнозируют следующее слово в серии, полагаясь на огромное количество текста, который они собрали, проиндексировали и на который перекрестно ссылаются. Однако способности рассуждать и понимать не являются неотъемлемыми аспектами этого процесса.
Согласно недавним исследованиям Массачусетского технологического института, модели изучения языка (LLM) могут работать исключительно хорошо даже без учета каких-либо явных правил. Однако их точность может быстро ухудшиться при столкновении со сложными факторами реального мира.
Конечно, это не станет новостью для тех, кто знаком с использованием чат-ботов. Мы все испытали, как быстро убедительное взаимодействие с чат-ботом может перерасти в галлюцинацию или просто граничащую с тарабарщиной тарабарщину после определенного рода вопросительного подталкивания.
Однако исследование Массачусетского технологического института вносит ясность в преобразование нашего общего анекдотического понимания в структурированную академическую интерпретацию. Раньше считалось, что чат-боты просто угадывают слова. Тем не менее, исключительная точность некоторых ответов иногда заставляет задуматься, не имеет ли место какой-то очаровательный феномен.
Это последнее исследование является напоминанием о том, что это почти наверняка не так. Ну, если только невероятно точное, но в конечном итоге бессмысленное предсказание слов не является вашим представлением о волшебстве.
Смотрите также
- Как использовать ценности в Dragon Age: The Veilguard
- 10 самых сильных персонажей Dragon Ball Sparking! Ноль
- Все местоположения призматических фрагментов Destiny 2
- Death Stranding наконец-то вышла на Xbox, но одна из лучших функций консоли вызывает ошибку, разрушающую игру
- Если есть что-то, что я умоляю вас сделать в Metaphor: ReFantazio, так это играть в игру на английском языке.
- Ryzen 7 9800X3D, возможно, только что выпущен, но AMD не ожидает объявления об окончании срока службы старого 7800X3D «в любое время в ближайшем будущем» и «ожидает, что он появится на рынке какое-то время».
- Астарион проник в Ватикан: в Ватикане продано 2 копии Baldur’s Gate 3, говорит директор издательства Larian
- Сообщается, что Nvidia прекратила производство всех графических процессоров RTX 40, кроме 4050 и 4060, поскольку доступные графические процессоры 50-й серии могут появиться раньше, чем ожидалось.
- Как решить загадку с жаровней в Diablo 4: Vessel of Hatred
- Открытое бета-тестирование многопользовательской игры Broken Arrow начнется 12 ноября.
2024-11-13 15:49