Взрыв ИИ в прошлое: моддеры заставляют Llama AI работать на старом ПК с Windows 98

Тогда, когда вы были молодым человеком, ваши обязательства были минимальными, и вы все еще сохраняли некоторый оптимизм относительно будущих возможностей технологий. Перенесемся в настоящее время: кажется, что почти ничто не застраховано от цепких рук того, что мы называем искусственным интеллектом, — даже заветные технические реликвии прошлых времен.

Exo Labs, организация, стремящаяся сделать искусственный интеллект доступным для всех, представила свое новейшее предприятие: модифицированную версию Llama 2 от Meta, работающую на старом компьютере с Windows 98 Pentium II. Хотя это не самая последняя версия Llama, она по-прежнему весьма интригует даже для таких людей, как я, которые часто скептически относятся к технологии искусственного интеллекта.

Что касается влияния крупных технологий на искусственный интеллект, мы с Exo Labs разделяем схожие осторожные взгляды. Оставляя пока в стороне мой собственный скептицизм в отношении ИИ, что делает этот проект особенно примечательным, так это то, что для его работы не требуется большой энергоемкий центр обработки данных, что, как правило, вредно для окружающей среды.

Поездка по запуску Llama на старинном оборудовании, которое существует уже некоторое время, имела немало неожиданных проблем. Как только мы приобрели бывшее в употреблении оборудование, Exo Labs столкнулась с трудностями в поиске периферийных устройств, совместимых с PS/2, а затем разработала метод переноса важных файлов на эту устаревшую машину. Для меня стало неожиданностью, что FTP через Ethernet-кабель до такой степени обратно совместим! Действительно, я не знал этого раньше.

Хотя это может показаться простым, позвольте мне уточнить, что на самом деле это была довольно сложная задача. Прежде чем мы смогли начать маневрирование по FTP, Exo Labs пришлось разработать метод преобразования современного кода в машину до Pentium Pro. По сути, команда остановила свой выбор на Borland C++ 5.02, интегрированной среде разработки и компиляторе 1996 года, работавшем под Windows 98. Однако продолжались проблемы совместимости с языком программирования C++, поэтому им пришлось прибегнуть к использованию более старой версии C и Вместо этого объявляйте переменные в начале каждой функции. Действительно, очень сильно болит голова.

В этом проекте у нас есть несколько ключевых аппаратных компонентов. Напомню тем, кому это может понадобиться: система Pentium II имеет сравнительно небольшой объем оперативной памяти — 128 МБ, тогда как Llama 2 LLM весьма впечатляет своими 70 миллиардами параметров. Несмотря на эти существенные ограничения, результаты оказываются еще более интригующими.

Неудивительно, что Exo Labs потребовалось создать для этого проекта более компактную версию Llama, которую теперь вы можете изучить самостоятельно через GitHub. Следовательно, переработанный LLM может похвастаться 1 миллиардом параметров и генерирует примерно 0,0093 токена в секунду – далеко не молниеносно быстро, но что примечательно, он вообще работает.

Лучший игровой ПК: лучшие готовые машины.
Лучший игровой ноутбук: отличные устройства для мобильных игр.

Смотрите также

2025-01-14 13:17