Считалось, что для запуска современного чат-бота потребуются дорогие графические процессоры стоимостью в миллионы долларов. Однако Мэтью Карриган, инженер компании HuggingFace, занимающейся инструментами искусственного интеллекта, утверждает, что вы можете управлять новейшим DeepSeek R1 LLM, имея компьютерное оборудование стоимостью всего 6000 долларов. Удивительно, но для работы ему не нужен высокопроизводительный графический процессор.
Предложенная Кэрриганом установка включает двухслотовую материнскую плату AMD EPYC, сопровождаемую подходящими процессорами AMD. Интересно, что спецификации этих ЦП не так важны, как можно было бы подумать. Основное внимание здесь уделяется конфигурации памяти.
Как энтузиаст технологий, я рад сообщить, что мы стремимся к колоссальным 768 ГБ памяти для нашей модели. Чтобы гарантировать ее быструю работу, мы разделим это на 24 канала ОЗУ. Проще говоря, это означает необходимость 24 модулей DDR5-RDIMM, каждый из которых несет внушительную емкость 32 ГБ. Итак, это 24 раза по 32 ГБ памяти высшего уровня!
Ссылки удобны для дальнейшего ознакомления, а стоимость только оперативной памяти составляет около $3400. Кроме того, вам понадобится корпус компьютера, блок питания (PSU), твердотельный накопитель (SSD) объемом не менее 1 ТБ, несколько радиаторов и вентиляторов.
Действительно, как утверждает Кэрриган, эта конфигурация обеспечивает подлинный опыт DeepSeek R1 без каких-либо уступок. Проще говоря, это настоящая модель, а не дистиллированная версия, с квантованием Q8, обеспечивающим высококачественные результаты.
После этого просто запустите установку llama.cpp на Linux, получите 700 ГБ весов, введите в командной строке строку, любезно предоставленную Кэрриганом, и вуаля, ваша большая языковая модель установлена и работает локально, так сказать.
Во всем этом бросается в глаза отсутствие обсуждения высокопроизводительных видеокарт Nvidia. Но вот в чем подвох: Кэрриган представляет видео, демонстрирующее работу локальной языковой модели (LLM) на этой установке, а также приблизительный индикатор производительности.
Он упоминает, что скорость, с которой эта модель генерирует ответы, может варьироваться от 6 до 8 ответов в секунду в зависимости от скорости вашего процессора и оперативной памяти. Однако она может быть немного медленнее, если у вас значительная история чата. Кроме того, он отмечает, что показанный клип несколько ускорен, ровно настолько, чтобы соответствовать ограничениям длины видео, что создает впечатление работы в режиме, близком к реальному времени.
Видео демонстрирует модель, производящую текст с приемлемой скоростью; однако важно отметить, что это применимо только к одному пользователю. Расширение этой конфигурации для размещения нескольких пользователей, скорее всего, сделает производительность для каждого отдельного пользователя невыносимо медленной.
По сути, вы смотрите на поддержку оборудования на сумму $6000 для одного пользователя. Учитывая эту установку, это кажется нереалистичным для бизнеса, нацеленного на обслуживание сотен, тысяч или даже миллионов пользователей. Для приложений такого масштаба графические процессоры (GPU) могут быть более финансово жизнеспособными, несмотря на их высокую стоимость за единицу.
Кэрриган предполагает, что конструкция, использующая графические процессоры (GPU), может быстро превзойти сотни, хотя она будет обеспечивать более высокую производительность.
Удивительно, что можно запустить высококлассную модель изучения языка (LLM) локально, не тратя целое состояние на дорогие графические процессоры. Этот факт проливает свет на реальный размер интеллекта, воплощенного в последних LLM.
Для кого-то, кто использует эти чат-боты, может показаться, что они генерируют свои ответы с помощью обширной вычислительной мощности. Однако, как ни странно, эта система работает всего на нескольких процессорах AMD.
Проще говоря, если вы не верите, что пара процессоров Advanced Micro Devices (AMD) может обладать сознанием, то эта технология служит напоминанием о том, что, несмотря на свою новейшую и самую совершенную разработку, модели изучения языка (LLM) по-прежнему являются всего лишь инструментами и не являются признаком неминуемого апокалипсиса искусственного интеллекта.
Смотрите также
- Читы Stardew Valley: каждый необходимый вам чит-код, никаких модов не требуется.
- Мертвая тварь (2024) [Кинофестиваль Fantasia 2024]
- Руководство FC 25 по различным построениям и индивидуальной тактике
- Лучшие слайдеры NHL 25 и как их использовать
- Ничего страшного, если вы не до конца поняли эпизод «73 ярда» Доктора Кто — вы никогда не должны были это понимать.
- Читы Bellwright и консольные команды
- Я даже не автолюбитель, но игра Tokyo Xtreme Racer ’25, которая вернулась в эпоху 2000 года, выглядит невероятно и имеет тысячи исключительно положительных отзывов в Steam после 4 дней раннего доступа.
- Консольные команды Сталкера 2 и чит-моды
- Вышла 4-я глава Poppy Playtime, так что приготовьтесь встретиться с «Доуи-Печенькой» и узнать, действительно ли он «веселый до самой смерти»
- Обзор беспроводного контроллера 8BitDo Ultimate 2C
2025-01-29 14:47