USD/RUB 76.47 0.0%BTC $61,940 2.5%ETH $1,731 2.6%TON $1.57 4.2%IMOEX 2190.39 1.4%GOLD ₽9 921/г 0.0%
·Технологии·8 июля 2026 г.

Квантование ломает вызов инструментов не так, как показывает BFCL: проверил на MCP-серверах

Как на самом деле квантование ломает вызов инструментов? Собрал бенчмарк QuantMCP, протестировав модели на 4 ГБ VRAM не на синтетике, а на реальных схемах MCP-серверов. Главный инсайт: популярные бенчмарки вроде BFCL систематически врут - корреляция их оценок с реальным падением качества оказалась отрицательной (-0.755). На живых схемах модели ведут себя иначе: Llama-3.2-1B начинает возвращать саму JSON-схему вместо вызова или галлюцинирует имена инструментов, а Qwen3-0.6B выдумывает несуществующие таблицы в SQLite. Также показал, что сложность схемы не гарантирует большую деградацию, а выбор кванта «по таблицам» может привести к обратному эффекту.

Источник: https://habr.com/ru/articles/1057150/?utm_source=habrahabr&utm_medium=rss&utm_campaign=1057150