В сфере разработки больших языковых моделей часто жалуются на нехватку графических процессоров. Графические процессоры Nvidia, которые предпочитают многие организации, занимающиеся искусственным интеллектом, пользуются большим спросом и приводят к конкуренции между этими группами.
Маск, всеми любимый миллиардер и технологический провидец, предвидит особую проблему: будущая модель xAI третьего поколения от его компании может потребовать чрезмерного количества энергии для обучения. В частности, по его оценкам, потребуется около 100 000 графических процессоров Nvidia H100.
Нельзя отрицать, что приобретение 100 000 H100 будет сложной и дорогостоящей задачей. Поскольку каждому H100 требуется пиковая потребляемая мощность 700 Вт, в общей сложности это составляет впечатляющие 70 мегаватт. Однако не все 100 000 энергоблоков будут работать на полную мощность одновременно. Тем не менее, настройка системы искусственного интеллекта — это нечто большее, чем просто графические процессоры. Вспомогательное оборудование и инфраструктура также требуют рассмотрения.
Имея в общей сложности 100 000 H100, вы получите мощность более 100 мегаватт, что примерно эквивалентно мощности небольшого города. Альтернативно, в 2022 году в Париже было около 500 мегаватт центров обработки данных.
Илон Маск признал во время интервью с генеральным директором Фонда благосостояния Норвегии Николаем Тангеном на X Spaces (по сообщению Reuters), что, хотя нехватка графических процессоров представляет собой серьезную проблему для разработки моделей искусственного интеллекта, доступность достаточного количества электроэнергии вскоре станет еще более важной проблемой. горлышко бутылки.
Маск полагает, что общий искусственный интеллект (AGI), превосходящий человеческий интеллект, будет достигнут в течение следующих одного-двух лет, основываясь на его определении того, что AGI более интеллектуален, чем самый умный человек.
В 2017 году он предусмотрительно упомянул, что в течение двух лет появятся беспилотные автомобили, надежность которых будет достаточной для того, чтобы пассажиры могли заснуть в них. С тех пор прошло уже несколько лет, но мы все еще ждем этого развития. Аналогичным образом, 19 марта 2020 года он заявил, что к концу апреля в США будет «почти ноль новых случаев Covid19». К сожалению, этот прогноз не оправдался.
Прогнозы Маска относительно технологий не всегда точны, но он, вероятно, хорошо понимает количество графических процессоров, необходимых для обучения его языковой модели следующего поколения. Следовательно, оценка огромного энергопотребления кажется правдоподобной и может стать причиной для беспокойства.
Кроме того, похоже, что Grok 2, последней модели xAI, потребовалось всего 20 000 графических процессоров H100. Это представляет собой значительный пятикратный скачок количества графических процессоров, необходимых для одной модели ИИ, по сравнению с предыдущей. Столь масштабное увеличение вызывает обеспокоенность по поводу устойчивости, будь то количество графических процессоров или энергопотребление.
Смотрите также
- Лучшие слайдеры NHL 25 и как их использовать
- Объяснение концовки второго сезона игры «Кальмары»: кто умирает в сериале Netflix? Будет ли 3 сезон?
- Как найти все предметы коллекционирования Astro Bot, включая ботов, кусочки головоломки и деформации.
- Читы Bellwright и консольные команды
- Лучшие моды Farthest Frontier
- Самой страшной игрой ужасов, в которую я играл в этот Хэллоуин, оказалась Waffle Cone Willie, игра о побеге от злого фургона с мороженым.
- Где найти интенданта Служителей Земли в WoW Cataclysm
- Изучите предстоящий научно-фантастический эпический исход в романе «Машина Архимеда»
- Лучшие мета-игроки, тактики и расстановки FC 25
- Лучшие пресеты персонажей в Dragon Age: The Veilguard
2024-04-10 20:05