Настройки сервиса
Параметр | Описание |
---|---|
Конфигурация запуска | JSON-объект, передаваемый сервису при запуске. Используется для передачи переменных, которые касаются логики работы сервиса. Например, режим генерации, количество итераций. |
Переменные среды | Переменные среды для запуска сервиса. Используются для передачи инфраструктурных переменных, например, адреса сервера, пароля доступа, номера видеокарты. |
Описание | Описание, которое будет отображаться в карточке сервиса в каталоге. |
Поддерживаемые языки | Языки, которые поддерживает сервис. Если их несколько, указывайте отдельно каждый язык. |
Fittable | Показывает, будет ли сервис обучаемым или нет. Если вы включаете эту опцию, выберите тип обучения. Тип определяет количество контейнеров, которые будут развернуты после запуска обучения: • singleFit Будет развернут один контейнер с вашим сервисом. Методы fit и predict будут выполняться в этом контейнере. • multiFit Будет развернуто два или несколько контейнеров. Один будет использоваться только для обучения — вызова метода fit , другие — только для вызова логики predict . Контейнеры для метода predict станут доступны только после завершения обучения. |
Composite | Показывает, является ли сервис композитным или простым: • Простой сервис используется через метод predict . Все данные, необходимые для работы такого сервиса, содержатся в образе или передаются в конфигурациях. • Композитный сервис выполняет вызовы к другим сервисам внутри своей логики. |
Тип задачи | Тип решаемой задачи. Выберите Misc или Other, если другие варианты не подходят. |
Таймауты | • Pod start timeout — таймаут на запуск инстанса сервиса. • Predict timeout — таймаут выполнения запроса predict для сервиса. |
Дата-образы | Docker-образы со статическими ресурсами, которые может использовать сервис. Например, веса нейронных сетей или другие объемные наборы данных, которые можно менять независимо от образа сервиса. Чтобы выбрать дата-образ в списке, сначала его необходимо добавить в Caila. В поле Куда укажите директорию, куда будут смонтированы файлы в контейнер сервиса. |
Ресурс-группа | Набор серверов, выделенный под запуск ML-сервисов для определенных аккаунтов. Ресурс-группы могут быть как общими, так и выделенными для конкретного аккаунта. Выберите одну из доступных ресурс-групп или оставьте значение по умолчанию. |
Лимиты ресурсов | Лимиты ресурсов, выделяемые инстансу сервиса: GPU, CPU, место на диске, память. |
Параметры перепосылки | Параметры повторной отправки запросов инстансу сервиса. Запрос может быть отправлен повторно, если: 1) во время отправки запроса сервису произошла ошибка в работе инстанса, или 2) если инстанс сервиса не отвечает в течение заданного времени. Укажите, сколько раз нужно отправлять повторный запрос, а также таймауты ответа от инстанса сервиса в формате JSON-объекта. |
Настройки батчирования | Позволяют задать максимальное количество запросов, которое будет отправляться сервису, и время, в течение которого запросы будут копиться. |