В сфере разработки больших языковых моделей часто жалуются на нехватку графических процессоров. Графические процессоры Nvidia, которые предпочитают многие организации, занимающиеся искусственным интеллектом, пользуются большим спросом и приводят к конкуренции между этими группами.
Маск, всеми любимый миллиардер и технологический провидец, предвидит особую проблему: будущая модель xAI третьего поколения от его компании может потребовать чрезмерного количества энергии для обучения. В частности, по его оценкам, потребуется около 100 000 графических процессоров Nvidia H100.
Нельзя отрицать, что приобретение 100 000 H100 будет сложной и дорогостоящей задачей. Поскольку каждому H100 требуется пиковая потребляемая мощность 700 Вт, в общей сложности это составляет впечатляющие 70 мегаватт. Однако не все 100 000 энергоблоков будут работать на полную мощность одновременно. Тем не менее, настройка системы искусственного интеллекта — это нечто большее, чем просто графические процессоры. Вспомогательное оборудование и инфраструктура также требуют рассмотрения.
Имея в общей сложности 100 000 H100, вы получите мощность более 100 мегаватт, что примерно эквивалентно мощности небольшого города. Альтернативно, в 2022 году в Париже было около 500 мегаватт центров обработки данных.
Илон Маск признал во время интервью с генеральным директором Фонда благосостояния Норвегии Николаем Тангеном на X Spaces (по сообщению Reuters), что, хотя нехватка графических процессоров представляет собой серьезную проблему для разработки моделей искусственного интеллекта, доступность достаточного количества электроэнергии вскоре станет еще более важной проблемой. горлышко бутылки.
Маск полагает, что общий искусственный интеллект (AGI), превосходящий человеческий интеллект, будет достигнут в течение следующих одного-двух лет, основываясь на его определении того, что AGI более интеллектуален, чем самый умный человек.
В 2017 году он предусмотрительно упомянул, что в течение двух лет появятся беспилотные автомобили, надежность которых будет достаточной для того, чтобы пассажиры могли заснуть в них. С тех пор прошло уже несколько лет, но мы все еще ждем этого развития. Аналогичным образом, 19 марта 2020 года он заявил, что к концу апреля в США будет «почти ноль новых случаев Covid19». К сожалению, этот прогноз не оправдался.
Прогнозы Маска относительно технологий не всегда точны, но он, вероятно, хорошо понимает количество графических процессоров, необходимых для обучения его языковой модели следующего поколения. Следовательно, оценка огромного энергопотребления кажется правдоподобной и может стать причиной для беспокойства.
Кроме того, похоже, что Grok 2, последней модели xAI, потребовалось всего 20 000 графических процессоров H100. Это представляет собой значительный пятикратный скачок количества графических процессоров, необходимых для одной модели ИИ, по сравнению с предыдущей. Столь масштабное увеличение вызывает обеспокоенность по поводу устойчивости, будь то количество графических процессоров или энергопотребление.
Смотрите также
- 10 основных функций Sims 4, о которых вы, вероятно, забыли, которых не было при запуске 10 лет назад
- Даты начала и окончания 33-го сезона Diablo 3 — последние обновления
- The Behemoth обновит Castle Crashers, Battleblock Theater и многое другое.
- Elden Ring – Впечатления от DLC Shadow of the Erdtree
- Как выполнить квест «Знамя дракона» в Bannerlord 2
- Очевидное удаление «Аколита» из магазина Диснея заставляет фанатов «Звездных войн» опасаться, что он скоро станет «потерянным медиа».
- Harebrained Schemes представляет хоррор-киберпанковскую ролевую игру Graft, свой первый проект после отделения от Paradox Interactive
- Суд зафиксировал победу Bungie над создателем читов Destiny 2 на сумму 4,4 миллиона долларов и отклонил запрос на новое судебное разбирательство
- Поклонники «Крока» демонстрируют «огромную, колоссальную» любовь к платформеру для PS1, поскольку разработчики ремастера говорят, что не уверены, что кто-то «еще помнит или заботится о нем»
- Первый тизер приквела «Чужого» Ноа Хоули просто устрашающий
2024-04-10 20:05