В сфере разработки больших языковых моделей часто жалуются на нехватку графических процессоров. Графические процессоры Nvidia, которые предпочитают многие организации, занимающиеся искусственным интеллектом, пользуются большим спросом и приводят к конкуренции между этими группами.
Маск, всеми любимый миллиардер и технологический провидец, предвидит особую проблему: будущая модель xAI третьего поколения от его компании может потребовать чрезмерного количества энергии для обучения. В частности, по его оценкам, потребуется около 100 000 графических процессоров Nvidia H100.
Нельзя отрицать, что приобретение 100 000 H100 будет сложной и дорогостоящей задачей. Поскольку каждому H100 требуется пиковая потребляемая мощность 700 Вт, в общей сложности это составляет впечатляющие 70 мегаватт. Однако не все 100 000 энергоблоков будут работать на полную мощность одновременно. Тем не менее, настройка системы искусственного интеллекта — это нечто большее, чем просто графические процессоры. Вспомогательное оборудование и инфраструктура также требуют рассмотрения.
Имея в общей сложности 100 000 H100, вы получите мощность более 100 мегаватт, что примерно эквивалентно мощности небольшого города. Альтернативно, в 2022 году в Париже было около 500 мегаватт центров обработки данных.
Илон Маск признал во время интервью с генеральным директором Фонда благосостояния Норвегии Николаем Тангеном на X Spaces (по сообщению Reuters), что, хотя нехватка графических процессоров представляет собой серьезную проблему для разработки моделей искусственного интеллекта, доступность достаточного количества электроэнергии вскоре станет еще более важной проблемой. горлышко бутылки.
Маск полагает, что общий искусственный интеллект (AGI), превосходящий человеческий интеллект, будет достигнут в течение следующих одного-двух лет, основываясь на его определении того, что AGI более интеллектуален, чем самый умный человек.
В 2017 году он предусмотрительно упомянул, что в течение двух лет появятся беспилотные автомобили, надежность которых будет достаточной для того, чтобы пассажиры могли заснуть в них. С тех пор прошло уже несколько лет, но мы все еще ждем этого развития. Аналогичным образом, 19 марта 2020 года он заявил, что к концу апреля в США будет «почти ноль новых случаев Covid19». К сожалению, этот прогноз не оправдался.
Прогнозы Маска относительно технологий не всегда точны, но он, вероятно, хорошо понимает количество графических процессоров, необходимых для обучения его языковой модели следующего поколения. Следовательно, оценка огромного энергопотребления кажется правдоподобной и может стать причиной для беспокойства.
Кроме того, похоже, что Grok 2, последней модели xAI, потребовалось всего 20 000 графических процессоров H100. Это представляет собой значительный пятикратный скачок количества графических процессоров, необходимых для одной модели ИИ, по сравнению с предыдущей. Столь масштабное увеличение вызывает обеспокоенность по поводу устойчивости, будь то количество графических процессоров или энергопотребление.
Смотрите также
- В хорошей новости для симуляторов убийств, в Inzoi есть 16 различных типов смертей.
- Читы Stardew Valley: каждый необходимый вам чит-код, никаких модов не требуется.
- Все местоположения призматических фрагментов Destiny 2
- Обзор ASUS ROG NUC 970
- Обзор Asus ROG Maximus Z890 Hero
- Обзор Arctic Liquid Freezer III 360 A-RGB
- Все пути восхождения Path of Exile 2 и как получить очки восхождения
- Коды дизайна персонажей Monster Hunter Wilds (Monster Hunter) { }
- Оптимальное распределение пространства в бунгало и его планировка
- Благодаря девяти обновлениям BIOS и новому продлению гарантии Asus изо всех сил старается избавиться от проблем с SD-картами ROG Ally.
2024-04-10 20:05