Локальные LLM на iPhone: память, Core ML, MLX и ограничения
Всем привет! Меня зовут Никита Нагорнов, я iOS-разработчик в компании «Исходный Код». В этой статье разберем, как запускать локальные LLM на iPhone. Поговорим про: 1. Архитектуру Apple Silicon и Unified Memory — почему не можем использовать всю доступную память; 2. Память, квантование и KV Cache — где приложения начинают падать и как это отловить; 3. Core ML и MLX — чем отличаются, где какой быстрее и почему нельзя всё запускать на нейронном процессоре; 4. Температуру и троттлинг — что происходи