Выделенные мощности

На тарифах с выделенными мощностями работа идёт на отдельной машине, поднятой под вашу организацию, а не на общем сервисе. Цена складывается из двух частей: токены и время работы машины.

Про сами тарифы и про то, чем они отличаются от остальных, — на странице Тарифы.

Какая модель — такая и машина

На этих тарифах вы выбираете, какую модель запускать. От этого зависит, какая машина поднимается, — и потому цена часа у каждого класса своя. Классы и цены — на витрине.

Выбор встречается дважды, и это один и тот же выбор. Первый раз — сразу при переходе на тариф: окно смены не закрывается, пока модель не названа, потому что без неё тариф не работает. Второй — на карточке выделенных мощностей в «Настройках → Биллинг», где его можно поменять потом.

Классы отличаются задачами, под которые они подходят: базовая быстрее и дешевле, продвинутая сильнее на сложных задачах. У базовой есть особенность, о которой стоит знать заранее: в текстовых артефактах — задачах, постановках, исследованиях и диалогах — иногда встречаются латиница, иероглифы и странные слова. На качестве работы это не сказывается.

Два режима

Динамический. Машина поднимается сама, когда появляется работа, и гаснет после простоя дольше 20 минут. Подходит, если задачи идут не постоянно: вы не платите за время, пока машина выключена.

Постоянный. Машина держится, пока вы её не выключите. Подходит, когда работа идёт плотно и ждать подготовки каждый раз не хочется.

Режим виден на карточке выделенных мощностей в «Настройках → Биллинг».

Модель выбирается до запуска машины: пока мощности работают, поменять её нельзя — от модели зависит сама машина.

Подготовка занимает время

Машину нужно подготовить: развернуть окружение и загрузить модель — это десятки гигабайт. Обычно 10–20 минут.

Всё это время карточка показывает, что машина готовится, и сколько уже идёт подготовка. Задачи запускать заново не нужно — они стартуют сами, как только машина будет готова.

Одна машина на организацию

Сколько бы человек ни нажали «Включить», поднимется одна машина. Второму и последующим приложение покажет ту же самую — это не отдельные мощности на каждого, а общая машина организации.

Выключить можно, когда ничего не выполняется

Кнопка «Выключить» доступна, но сработает только при простое: пока идут задачи, диалоги «Спросить» или исследования, приложение откажет и скажет, что именно сейчас работает. Так задача не обрывается на середине из-за нажатия кнопки.

Автоматические выключения — по простою и по балансу — устроены иначе: там никто ничего не нажимал, поэтому машина сначала даёт запущенному завершиться и только потом гаснет.

Пока машина завершает работу, кнопки у неё нет — состояние уже сказано, и нажимать нечего.

Баланс: выключаем заранее

Мощности выключаются до того, как баланс закончится, а не в момент нуля: когда остатка хватает менее чем на час работы при текущем расходе. Карточка заранее предупреждает, на сколько примерно хватит баланса при текущем расходе — расход считается сразу по обеим статьям, и по токенам, и по времени машины.

Выполнение задач при этом останавливается, машина перестаёт брать новую работу и гаснет; после пополнения баланса задачу можно возобновить с места остановки.

Если машина не отвечает

Мы постоянно проверяем, отвечает ли модель, и сами перезапускаем её при сбое. Если машина не возвращается — берём другую и поднимаем работу на ней. В карточке это видно как подготовка; вмешательства с вашей стороны не требуется.

Чего здесь нет

Выделенные мощности не открывают наружу ни одного порта: модель слушает только внутренний адрес машины, а приложение соединяется с ней само, исходящим соединением. Снаружи к машине не подключиться — ни вам, ни кому-либо ещё.