NVIDIA выпустила PAIR — виртуальный маршрутизатор локального инференса для домашних ПК

NVIDIA представила открытый инструмент NVIDIA PAIR® (Personal AI Router®), распространяемый по лицензии Apache 2.0. Разработка предназначена для балансировки и маршрутизации запросов на инференс больших языковых моделей между компьютерами в рамках единой локальной сети.

По оценкам инженеров, большинство домашних систем с дискретными графическими ускорителями большую часть времени работают с низкой загрузкой. При наличии в доме нескольких компьютеров — например, основного ПК с видеокартой GeForce RTX® и второго ПК или ноутбука — их суммарная вычислительная мощность в простое остается невостребованной. NVIDIA PAIR® предлагает задействовать эти ресурсы для выполнения задач машинного обучения, сохраняя обработку данных внутри домашней сети.