Перейти к основному содержимому
Услуга 07

On-prem и приватные LLM

ИИ работает на ваших собственных машинах. Ни один файл клиента не покидает офис, и счёт не растёт с каждым заданным вопросом. Ваша команда сама перезапускает, обновляет и меняет модель, не звоня нам.

Цена
от $8 000
Срок запуска
3-⁠4 недели
On-prem и приватные LLM

Что делает

  • 01Вы платите за железо и электричество, за запросы платить не нужно
  • 02Данные не покидают вашу сеть, так устроена сама система
  • 03Модель под то железо, которое вы потянете, с проверкой на ваших задачах
  • 04Дообучена на ваших документах и регламентах там, где просто читать их мало
  • 05Команда перезапускает, обновляет и меняет модели по письменной инструкции
  • 06Открытая модель работает на ваших серверах, с логируемым доступом к вашим базам и инструментам

Что запускаем за первые две недели

  1. Неделя 1: аудит вашего железа, шорт-лист моделей с проверкой на ваших вопросах
  2. Недели 2-⁠3: модель установлена, дообучена и подключена к первому внутреннему инструменту
  3. Неделя 4: письменная инструкция, мониторинг и передача вашей команде

Каждый релиз заканчивается кодом в ваших аккаунтах, понятной инструкцией для команды и тремя месяцами исправлений. Объём и цена фиксируются письменно до старта.

Вопросы

01Хватит ли открытой модели?

Для большинства задач по документам, поддержке и внутренним инструментам – да, если она опирается на ваши данные и проверена на ваших вопросах. Мы замеряем шорт-лист на вашем проверочном наборе до покупки железа и честно скажем, если публичный API будет лучше.

02Какое железо нужно?

Зависит от размера модели и нагрузки. Один GPU-сервер закрывает многие команды среднего размера; мы считаем его от ваших ожидаемых запросов в день, а не по спецификации вендора.

03Как это помогает с EU AI Act и GDPR?

Данные не покидают вашу сеть, каждый запрос логируется у вас, и нет стороннего процессора, которого нужно оформлять. Это не снимает ваши обязанности по AI Act, но снимает самые трудные – про передачу данных и субпроцессоров.

04Кто поддерживает после запуска?

Ваша ops-команда с раннбуком, который мы передаём: перезапуск, обновление, смена модели. Мы на связи для исправлений три месяца, и есть продолжающаяся программа, если хотите, чтобы мы продолжали.

05Сколько стоит свой LLM и сколько это занимает?

От $8 000 фиксированно за развёртывание, 3-4 недели от первого звонка до модели, которая работает на вашем железе или в вашем облачном аккаунте, с инструкцией для ваших админов. Сервер покупаете вы. Для документов и поддержки небольшой компании обычно хватает одного сервера с одной видеокартой.

06Кому нужна своя модель вместо облачного API?

Компаниям, чьи данные не могут покидать сеть. Юридические, медицинские, финансовые и кадровые задачи, договоры с запретом на третьих лиц или просто счёт за токены, который перерос стоимость сервера. Если ничего из этого не про вас, облачная модель за той же системой дешевле на старте, и мы так и скажем.