On-prem и приватные LLM
Когда комплаенс, интеллектуальная собственность или цена делают публичный API неприемлемым: модель под ваше железо, дообученная на ваших документах, обёрнутая в агента с доступом к вашим внутренним инструментам и описанная так, что ваша команда ведёт её без нас.
- Цена
- от $8 000
- Срок запуска
- 3–4 недели
Что делает
- 01Подбор модели под бюджет железа с замером на ваших задачах
- 02Файн-тюнинг на ваших документах и регламентах там, где одного retrieval мало
- 03Слой агента с безопасным, логируемым доступом к вашим базам и инструментам
- 04Без оплаты за токены: стоимость – железо и электричество
- 05Резидентность данных по построению: ничего не покидает сеть
- 06Раннбук: перезапуск, обновление и смена модели без вендора на линии
Что запускаем за первые две недели
- Неделя 1: аудит железа, шорт-лист моделей с замером на вашем проверочном наборе
- Недели 2-3: модель развёрнута, дообучена и подключена к первому внутреннему инструменту
- Неделя 4: раннбук, мониторинг, передача вашей ops-команде
Каждый релиз заканчивается кодом в вашем репозитории, раннбуком и тремя месяцами исправлений. Скоуп и цена фиксируются письменно до старта.
Вопросы
01Хватит ли открытой модели?
Для большинства задач по документам, поддержке и внутренним инструментам – да, если она опирается на ваши данные и проверена на ваших вопросах. Мы замеряем шорт-лист на вашем проверочном наборе до покупки железа и честно скажем, если публичный API будет лучше.
02Какое железо нужно?
Зависит от размера модели и нагрузки. Один GPU-сервер закрывает многие команды среднего размера; мы считаем его от ваших ожидаемых запросов в день, а не по спецификации вендора.
03Как это помогает с EU AI Act и GDPR?
Данные не покидают вашу сеть, каждый запрос логируется у вас, и нет стороннего процессора, которого нужно оформлять. Это не снимает ваши обязанности по AI Act, но снимает самые трудные – про передачу данных и субпроцессоров.
04Кто поддерживает после запуска?
Ваша ops-команда с раннбуком, который мы передаём: перезапуск, обновление, смена модели. Мы на связи для исправлений три месяца, и есть продолжающаяся программа, если хотите, чтобы мы продолжали.
Оценим скоуп за 30-минутный звонок
Вы описываете процесс, мы говорим, сколько стоит первая версия и сколько занимает. Бесплатно, без презентаций.