Перейти к содержимому
SBER 286,53 ₽ 0,42% снижение за прошлую сессиюIMOEX 2 326,05 1,16% снижение за прошлую сессию
·Технологии·источник: Habr·1 мин

Пространственное внимание на RTX 3050: эксперимент с контекстом 16K

Можно ли ускорить обучение небольшой языковой модели на длинных последовательностях, если заменить полное внимание разреженным графом, а веса связей определять расстояниями между обучаемыми координатами?

Отрывок из ленты источникаЧитать у источника: Habr

Пространственное внимание на RTX 3050: эксперимент с контекстом 16K