Где LLM хранит факты, или как перенести Эйфелеву башню из Парижа в Рим
Помните, как в «Матрице» Нео загрузили боевые навыки прямо в мозг? Раз, и человек, который раньше не умел драться, говорит: «Я знаю кунг-фу». Попробуем повторить этот трюк с языковой моделью. Но так как мы далеки от единоборств, возьмем простой факт: Эйфелева башня находится в Париже. Попробуем заменить в GPT-2 XL Париж на Рим без полного переобучения модели. Для этого используем ROME, метод точечного редактирования весов. После правки зададим модели тот же вопрос в нескольких формулировках, про