Как энтузиаст моделей ИИ с многолетним опытом погружения в постоянно развивающийся мир искусственного интеллекта, я нахожу идеи Ильи Суцкевера одновременно интригующими и поучительными. Переход от эпохи масштабирования к эпохе чудес и открытий сродни наблюдению за тем, как опытный шеф-повар переходит от следования рецептам к экспериментам с новыми ингредиентами и технологиями.
Илья Суцкевер, один из соучредителей OpenAI, считает, что нынешние стратегии расширения больших языковых моделей достигли точки убывающей отдачи. Чтобы добиться существенного прогресса в будущем, исследовательские центры ИИ должны сосредоточиться не только на увеличении моделей, но и на их умении. Более того, эти модели изучения языка (LLM) должны быть разработаны так, чтобы размышлять над проблемами в течение более длительного времени.
В разговоре с Reuters Суцкевер отметил, что этап расширения больших языковых моделей, таких как ChatGPT, на этапе предварительного обучения приближается к своему максимальному потенциалу. Предварительное обучение относится к первому этапу, на котором обрабатываются огромные объемы немаркированных данных для установления языковых шаблонов и структур в модели.
Раньше простое расширение набора данных для обучения (часто называемое масштабированием) приводило к созданию более сильной и эффективной модели. Однако этого подхода уже недостаточно; скорее, важно учитывать не только количество данных, но и особенности того, на чем и как обучается модель.
Как энтузиаст игр, я не могу не вспомнить 2010-е годы — эпоху массового роста и расширения наших любимых цифровых миров. Но теперь мы снова отправляемся на неизведанные территории, где царят чудеса и открытия. Кажется, что каждый находится в поисках следующего новаторского опыта. Однако, по словам Суцкевера, речь идет уже не только о масштабировании; речь идет о правильном масштабировании, поскольку сейчас это имеет большее значение, чем когда-либо прежде, в формировании наших будущих игровых приключений.
В этом контексте появляется все больше свидетельств того, что исследовательские центры искусственного интеллекта изо всех сил пытаются значительно улучшить модели, подобные ChatGPT версии 4.0, в отношении энергопотребления и производительности.
Проще говоря, многие люди теперь имеют доступ к сопоставимым данным обучения через онлайн-ресурсы. Это означает, что простое использование больших объемов необработанных данных больше не обязательно обеспечит конкурентное преимущество. Вместо этого, что отличает компании, занимающиеся искусственным интеллектом, так это их способность более разумно обучать модели, а не просто увеличивать размер своих наборов данных.
Один из методов повышения производительности крупномасштабного машинного обучения (LLM) применяется на заключительных этапах, часто называемых «выводом», когда модели тщательно обучены и доступны для взаимодействия с пользователем.
В этом сценарии мы стремимся к последовательной стратегии решения проблем и вопросов, при которой система имеет возможность учиться на собственных ответах, способствуя поведению, имитирующему человеческие мыслительные процессы и навыки принятия решений.
Как ярый поклонник, я хотел бы поделиться удивительным открытием Ноама Брауна, блестящего исследователя из OpenAI: за одну раздачу в покере 20-секундный мыслительный процесс бота дал результаты, сравнимые с увеличением модели на поразительные 100 000 раз и тренируем его в столь же впечатляющие 100 000 раз дольше!
По сути, вместо того, чтобы боты немедленно отвечали на все, что появляется первым, заставляя их думать более тщательно, можно получить превосходные результаты. Если этот метод окажется полезным, в секторе аппаратного обеспечения искусственного интеллекта может произойти переход от огромных обучающих кластеров к массивам графических процессоров, в которых приоритет отдается расширенным возможностям вывода.
Конечно, это можно выразить так: вне всякого сомнения, независимо от выбранного пути, Nvidia, похоже, готова нажиться на всеобщем интересе. Стоит отметить, что рост спроса на графические процессоры искусственного интеллекта для вывода, как отметил генеральный директор Nvidia Дженсен Хуанг, является важной тенденцией.
Недавно Хуанг заявил, что мы нашли новый закон масштабирования, который во время вывода мы называем законом масштабирования. Это открытие, наряду с другими факторами, значительно увеличило спрос на Blackwell (архитектуру графических процессоров Nvidia следующего поколения).
Неясно, когда именно благодаря этим технологиям появится поколение более умных ботов, но вполне вероятно, что финансовые ресурсы Nvidia сравнительно быстро выиграют от этого развития.
Смотрите также
- Как использовать ценности в Dragon Age: The Veilguard
- 10 самых сильных персонажей Dragon Ball Sparking! Ноль
- Все местоположения призматических фрагментов Destiny 2
- Death Stranding наконец-то вышла на Xbox, но одна из лучших функций консоли вызывает ошибку, разрушающую игру
- Как решить загадку с жаровней в Diablo 4: Vessel of Hatred
- Netflix удаляет 20 интерактивных фильмов и шоу, но не специальный выпуск «Черного зеркала»
- Открытое бета-тестирование многопользовательской игры Broken Arrow начнется 12 ноября.
- Финал «Пингвина» только что установил главную связь с «Бэтменом 2»
- Восставший из ада: Квартет мучений [Видео со стрелкой]
- Обзор контроллера PB Tails Crush – классические линии и множество под капотом
2024-11-12 17:32