[Перевод] Дообучаем на Mac малую языковую модель для RAG в браузере
Задача выглядела довольно простой: дообучить Qwen3-0.6B отвечать на вопросы по фрагментам текста, найденным семантическим поиском. Но первые эксперименты дали обратный эффект: модель стала чаще выдумывать подробности, хотя validation loss продолжал снижаться. Четыре версии обучающих данных помогли разобраться, почему так происходит и как удалось втрое сократить число галлюцинаций — пусть и ценой более частых отказов от ответа.
Посмотреть результаты
Отрывок из ленты источникаЧитать у источника: Habr
![[Перевод] Дообучаем на Mac малую языковую модель для RAG в браузере](https://habrastorage.org/extt/98/54/ab/9854ab607bf536ac2bc8443fe4504428.jpg)