Локальные LLM для разработки: когда облако дорого, а мозг дороже

Почему локальные модели — это не провал

Искусственный интеллект в облаке становится всё дороже: GPT, Claude, Gemini — каждое поколение жарче по цене, но прирост производительности не соответствует размеру счёта. К примеру, Google Flash 3.5 стоит в три раза больше, чем Flash 2.5, но бенчмарки не показывают трёхкратного прироста качества.

У локальных моделей есть свои достоинства, о которых часто забывают:

• Цена за производительность — облачные флагманы растут в цене экспоненциально, локальные же просто работают на твоём железе
• Улучшение через инструментарий — с правильным промптом, структурой запроса и обработкой выходных данных ты можешь поднять качество слабой модели на 6x
• Бенчмарки врут — они измеряют среднее, а не твоё — и каждая AI-лаборатория публикует результаты на тестах, где её модель выглядит лучше всех

Зачем вообще заморачиваться с локальными моделями

Тут есть глубокий момент: когда модель слабее, ты больше думаешь сам. Это как ехать на велосипеде вместо машины — медленнее, но мозг работает. И это важно в работе, которая требует творчества и принятия решений: если ты всё делегировал AI, то через год ты просто не сможешь делать это самостоятельно.

Кроме того, многие техники, которыми ты учишься управлять слабой моделью, работают и с мощными — это как играть на сложности. Мастеришься на малом, потом работаешь с большим намного эффективнее.

Какие модели выбрать для кода

Для программирования лучше всего показывают себя китайские разработки (они лидируют в leaderboard’е Hugging Face): Qwen, DeepSeek, Kimi, а также классические Llama и Gemma.

Gemma 4 — хороший выбор в середине рынка. Она имеет несколько версий:

• Gemma 2B (E2B) — совсем компактная, тащится на любом железе, но рискует галлюцинировать или бросить задачу на полпути
• Gemma 4B (E4B) — вдвое больше параметров, заметно надёжнее

Как запустить локально

Инструменты для того, чтобы крутить LLM на своей машине:

• Ollama — просто и быстро
• Llama.cpp — для энтузиастов
• LM Studio — для тех, кто любит UI
• Jan — кроссплатформенный вариант

Всё это работает в Linux, macOS и Windows. На диве стоит NVIDIA RTX, на маке — Apple M4, есть поддержка AMD ROCm.

Когда облако имеет смысл

Есть бесплатная облачная альтернатива, если не хочешь разбираться с железом. Но помни: локальные модели — это уже товар. То, что казалось наукой три года назад, сегодня commodity.

Главное — не жертвуй долгосрочными навыками ради краткосрочной скорости. Если все используют Claude, а ты лучше знаешь свою местную модель, это может быть преимущество, а не недостаток.