В сфере разработки больших языковых моделей часто жалуются на нехватку графических процессоров. Графические процессоры Nvidia, которые предпочитают многие организации, занимающиеся искусственным интеллектом, пользуются большим спросом и приводят к конкуренции между этими группами.
Маск, всеми любимый миллиардер и технологический провидец, предвидит особую проблему: будущая модель xAI третьего поколения от его компании может потребовать чрезмерного количества энергии для обучения. В частности, по его оценкам, потребуется около 100 000 графических процессоров Nvidia H100.
Нельзя отрицать, что приобретение 100 000 H100 будет сложной и дорогостоящей задачей. Поскольку каждому H100 требуется пиковая потребляемая мощность 700 Вт, в общей сложности это составляет впечатляющие 70 мегаватт. Однако не все 100 000 энергоблоков будут работать на полную мощность одновременно. Тем не менее, настройка системы искусственного интеллекта — это нечто большее, чем просто графические процессоры. Вспомогательное оборудование и инфраструктура также требуют рассмотрения.
Имея в общей сложности 100 000 H100, вы получите мощность более 100 мегаватт, что примерно эквивалентно мощности небольшого города. Альтернативно, в 2022 году в Париже было около 500 мегаватт центров обработки данных.
Илон Маск признал во время интервью с генеральным директором Фонда благосостояния Норвегии Николаем Тангеном на X Spaces (по сообщению Reuters), что, хотя нехватка графических процессоров представляет собой серьезную проблему для разработки моделей искусственного интеллекта, доступность достаточного количества электроэнергии вскоре станет еще более важной проблемой. горлышко бутылки.
Маск полагает, что общий искусственный интеллект (AGI), превосходящий человеческий интеллект, будет достигнут в течение следующих одного-двух лет, основываясь на его определении того, что AGI более интеллектуален, чем самый умный человек.
В 2017 году он предусмотрительно упомянул, что в течение двух лет появятся беспилотные автомобили, надежность которых будет достаточной для того, чтобы пассажиры могли заснуть в них. С тех пор прошло уже несколько лет, но мы все еще ждем этого развития. Аналогичным образом, 19 марта 2020 года он заявил, что к концу апреля в США будет «почти ноль новых случаев Covid19». К сожалению, этот прогноз не оправдался.
Прогнозы Маска относительно технологий не всегда точны, но он, вероятно, хорошо понимает количество графических процессоров, необходимых для обучения его языковой модели следующего поколения. Следовательно, оценка огромного энергопотребления кажется правдоподобной и может стать причиной для беспокойства.
Кроме того, похоже, что Grok 2, последней модели xAI, потребовалось всего 20 000 графических процессоров H100. Это представляет собой значительный пятикратный скачок количества графических процессоров, необходимых для одной модели ИИ, по сравнению с предыдущей. Столь масштабное увеличение вызывает обеспокоенность по поводу устойчивости, будь то количество графических процессоров или энергопотребление.
Смотрите также
- Я был шокирован, узнав, что фон рабочего стола Windows 10 был создан не компьютером, а изображением лазеров, стреляющих через настоящее окно.
- Genshin Impact – посмотрите тизер персонажа Клоринды «Final Failsafe»
- Horse Armor снова на подъеме: Bethesda берет 7 долларов за одну миссию в Starfield, и после нескольких месяцев минимальной поддержки после запуска недовольные фанаты чувствуют себя обманутыми.
- Zenless Zone Zero – посмотрите кат-сцену «Прототип, перезагрузка»
- Стивен Кинг отдал дань уважения Шелли Дюваль, назвав звезду «Сияния» «замечательным, талантливым, но малоиспользуемым актером».
- Это не только Nier Automata и научно-фантастическая манга, на самом деле Stellar Blade сформировала реальная забастовка таксиста, которая произвела впечатление на режиссера ролевой игры.
- От Fallout до Stalker: «Постапокалиптическая распродажа» GOG предлагает хорошие скидки на компьютерные игры с хорошими рецензиями.
- Функция кросс-игры Ghost of Tsushima будет запущена с прикрепленным тегом «бета», что вызывает предположения, что Sony надеется избежать еще одного фиаско, связанного с PSN.
- Спустя 5 лет с момента запуска кооперативный зомби-шутер World War Z запускает бесплатное обновление, действие которого происходит в апокалиптическом адском пейзаже, который, как оказалось, находится там, где я живу.
- Вы не потеряете весь свой прогресс, когда сезон «Однажды человек» закончится — вот как работает перезагрузка сервера игры на выживание.
2024-04-10 20:05