NVIDIA выпустила PAIR — виртуальный маршрутизатор локального инференса для домашних ПК
NVIDIA представила открытый инструмент NVIDIA PAIR® (Personal AI Router®), распространяемый по лицензии Apache 2.0. Разработка предназначена для балансировки и маршрутизации запросов на инференс больших языковых моделей между компьютерами в рамках единой локальной сети. По оценкам инженеров, большинство домашних систем с дискретными графическими ускорителями большую часть времени работают с низкой загрузкой. При наличии в доме нескольких компьютеров — например, основного ПК с видеокартой GeForce