Перейти к содержимому
SBER 286,53 ₽ 0,42% снижение за прошлую сессиюIMOEX 2 326,05 1,16% снижение за прошлую сессию
·Технологии·источник: Habr·1 мин

[Перевод] Дообучаем на Mac малую языковую модель для RAG в браузере

Задача выглядела довольно простой: дообучить Qwen3-0.6B отвечать на вопросы по фрагментам текста, найденным семантическим поиском. Но первые эксперименты дали обратный эффект: модель стала чаще выдумывать подробности, хотя validation loss продолжал снижаться. Четыре версии обучающих данных помогли разобраться, почему так происходит и как удалось втрое сократить число галлюцинаций — пусть и ценой более частых отказов от ответа.

Посмотреть результаты

Отрывок из ленты источникаЧитать у источника: Habr

[Перевод] Дообучаем на Mac малую языковую модель для RAG в браузере