Multi-GPU: когда стоит подключать несколько видеокарт и как использовать их эффективно
Если вы обучаете ML-модели, рано или поздно можете столкнуться с двумя ограничениями: обучение занимает слишком много времени или модели перестает хватать видеопамяти. В таких случаях можно перейти на Multi-GPU. Представим условный пример, модель обучается на одной GPU за 32 дня. Подключаем восемь ускорителей, рассчитываем сократить обучение до четырех дней, но получаем пять. Почему так происходит? GPU тратят время на синхронизацию градиентов, передачу данных и ожидание других устройств.