Инфраструктурный слой LLM Gateway для Yandex Cloud (Шуб Сергей)

На семинаре 28 апреля 2026 г., Сергей Шуб представил результаты разработки и первичной проверки инфраструктурного слоя LLM Gateway в Yandex Cloud. В выступлении была раскрыта задача создания единого сервиса-переходника для обращения к нескольким большим языковым моделям через REST API без прямого доступа пользователей и разработчиков к моделям и внутренним ключам. 

На семинаре 28 апреля 2026 г., Сергей Шуб представил результаты разработки и первичной проверки инфраструктурного слоя LLM Gateway в Yandex Cloud. В выступлении была раскрыта задача создания единого сервиса-переходника для обращения к нескольким большим языковым моделям через REST API без прямого доступа пользователей и разработчиков к моделям и внутренним ключам. Сергей показал общую архитектуру решения: пользовательский запрос поступает на виртуальную машину в Yandex Cloud, обрабатывается FastAPI-приложением LLM Gateway и далее направляется к Yandex Cloud AI Studio API. Особое внимание было уделено практической настройке облачной инфраструктуры: созданию отдельной сети и подсетей, настройке security groups, развертыванию виртуальной машины llm-gateway-1, подготовке Python-окружения, созданию service account, API key и переменных окружения для безопасного доступа к AI Studio. Важной частью решения стала интеграция с Yandex Object Storage, позволяющая через тот же gateway не только вызывать LLM, но и загружать файлы, получать их список, скачивать результаты и сохранять логи пайплайна. Для проверки работоспособности был подготовлен smoke-test, охвативший основные методы /health, /llm/generate, /files/upload, /files/list, /files/download и /logs/write; все они вернули успешный статус 200. Таким образом, выступление продемонстрировало не концептуальную схему, а рабочий прототип базового инфраструктурного слоя для централизованного, управляемого и логируемого использования LLM в облачной среде. 

Шуб - Реализация LLM Gateway в Yandex Cloud (PDF, 355 Кб)