Взломанная PlayStation 5 превратилась в ИИ-сервер: модель на 27 млрд параметров выдаёт 21 токен в секунду

Разработчик abhi245y представил PS5LM Plus — приложение, позволяющее запускать большие языковые модели непосредственно на взломанной PlayStation 5. Проект основан на PS5LM, созданном инженером по искусственному интеллекту Мертом Кобановым, и использует графический процессор консоли для ускорения вычислений. Если первоначальная версия полагалась преимущественно на центральный процессор и обрабатывала крайне мало данных, то новая реализация обеспечивает полноценную генерацию ответов.