Перейти к основному содержимому

LLM Solution

В Caila представлено большое количество сервисов для доступа к LLM, как облачным, так и self-hosted. Caila позволяет получить прямой доступ ко всем GPT сервисам через унифицированный API. Кроме того, вы можете запускать открытые модели на своих серверах и платить не за API-вызовы, а за аренду сервера.

LLM сервисы, доступные в Caila​

Сервисы для чата с LLM собраны в каталоге в категории GPT: https://caila.io/catalog?TaskType=chat-completion

Все сервисы можно разделить на категории:

  • Прокси к облачным LLM. Все сервисы доступны с территории РФ и через единый ключ доступа.
  • Открытые LLM, доступные через API. Эти модели хостятся на наших серверах и доступны постоянно. Список доступных моделей периодически меняется. Актуальный список смотрите в каталоге.
  • Открытые LLM, доступные для запуска на выделенных серверах. На выделенных ресурсах пользователь может запускать любые модели. В Caila есть поддержка нескольких инференс-движков.
ПроксиХостятся у насДля запуска на своих серверах
OpenAILlama3vLLM
ClaudeQwen2Ollama
GeminiMistralTGI
GigaChat
YandexGPT

API для прямого доступа к LLM​

Описание Caila API для доступа к LLM находится здесь: Чат-генерация

Ко всем сервисам можно обращаться через OpenAI Adapter

Инструменты для работы с LLM и GPT сервисами​

  • Multi Chat — позволяет вести диалог одновременно с несколькими моделями или даже с одной моделью, но с разными настройками. Предназначено для side-by-side сравнения разных моделей и выбора подходящих моделей и параметров. Подробнее читайте в специальном разделе Multi Chat.
  • GPT Viewer — приложение позволяет включать сохранение истории и просматривать историю запросов к LLM-моделям, которые хостятся на Ваших выделенных серверах.
  • LLM Eval — набор приложений — Jupyter notebooks для запуска бенчмарков на LLM-сервисы через Caila API. Доступ к инструментам запуска бенчмарков предоставляется по запросу через техподдержку.