Что такое оркестрация в IT и как работают оркестраторы

Содержание:

• Что такое оркестрация в IT
• Что такое оркестратор и как он работает
• Зачем нужна оркестрация
• Какие задачи решают системы оркестрации
• Основные виды оркестрации
  • Оркестрация контейнеров
  • Оркестрация данных и рабочих процессов
  • Оркестрация микросервисов и бизнес-процессов
• Из каких компонентов состоит система оркестрации
• Как проходит процесс оркестрации
• Чем оркестрация отличается от автоматизации
• Популярные инструменты оркестрации
  • Kubernetes, Docker Swarm, Nomad и OpenShift
  • Apache Airflow, Luigi, NiFi и Temporal
• Где применяется оркестрация
• Как выбрать подходящий оркестратор
• Главное по теме

Современная система информационных технологий объединяет виртуальные машины, контейнеры, базы данных, очереди сообщений, микросервисы и потоки данных. Отдельные операции можно автоматизировать, но их также необходимо запускать в правильном порядке, связывать зависимостями и контролировать при сбоях. Эту задачу решает оркестрация.

Что такое оркестрация в IT

Оркестрация в ИТ — это автоматизированная координация взаимосвязанных операций, приложений и инфраструктурных ресурсов для достижения заданного результата. Она объединяет отдельные действия в единый управляемый процесс: определяет последовательность шагов, распределяет задания, проверяет состояние системы, реагирует на ошибки и контролирует завершение всего сценария.

Пример оркестрации — выпуск новой версии приложения. Система собирает программный код, запускает испытания, развертывает приложение, проверяет его готовность и только после этого направляет на него пользовательские запросы. При ошибке оркестратор останавливает цепочку, повторяет операцию или возвращает предыдущую работоспособную версию.

Оркестрация складывается из двух частей: автоматизация отдельных операций плюс управление зависимостями, состоянием и полным жизненным циклом процесса. Поэтому любая оркестрация включает автоматизацию, но не всякая автоматизация является оркестрацией.

Что такое оркестратор и как он работает

Оркестратор — это программная система, которая принимает описание требуемого результата или рабочего процесса и организует его выполнение. Он определяет, что, когда, где и при каких условиях должны сделать остальные компоненты системы.

В инфраструктурных решениях часто применяется декларативная модель. При таком подходе пользователь описывает не последовательность команд, а желаемое состояние. Например, он указывает, что должны постоянно работать три экземпляра приложения определенной версии.

Оркестратор выполняет несколько действий:

• получает описание желаемого состояния;
• определяет фактическое состояние системы;
• сравнивает заданные и текущие параметры;
• выявляет расхождения;
• запускает корректирующие операции;
• повторно проверяет результат.

Если один экземпляр приложения аварийно завершился, оркестратор запускает новый. Такой непрерывный управляющий цикл называют согласованием состояния.

В системах управления рабочими процессами задают перечень задач, зависимости, условия запуска, предельное время выполнения и правила обработки ошибок. Планировщик находит задачи, готовые к запуску, исполнитель выполняет их, а оркестратор сохраняет состояние и определяет следующий шаг.

Зачем нужна оркестрация и какие задачи она решает

Оркестрация необходима для согласованного управления приложениями, инфраструктурой и рабочими процессами. Пока система состоит из одного сервера и небольшого числа компонентов, многие операции можно выполнять вручную. Однако с ростом количества приложений, вычислительных сред и зависимостей такой подход замедляет работу, затрудняет повторение процедур и повышает влияние человеческого фактора.

Оркестратор выполняет операции в установленной последовательности и контролирует результат каждого этапа. В зависимости от назначения системы он может решать следующие задачи:

• управлять зависимостями — запускать следующий этап только после успешного завершения предыдущих;
• планировать выполнение — выбирать время и вычислительный узел с учетом доступных ресурсов, ограничений и приоритетов;
• развертывать компоненты — создавать необходимые экземпляры приложений, заданий или инфраструктурных ресурсов;
• контролировать состояние — проверять работоспособность компонентов и их готовность принимать запросы;
• восстанавливать рабочие нагрузки — перезапускать отказавшие экземпляры, заменять их или переносить на доступные узлы;
• масштабировать приложения — изменять количество экземпляров или объем выделенных им ресурсов;
• обрабатывать ошибки — задавать предельное время ожидания, число повторных попыток, условия отката и порядок оповещения;
• распределять запросы — обнаруживать новые экземпляры приложений и направлять к ним нагрузку;
• управлять доступом — применять роли, разрешения и правила работы с учетными данными;
• собирать данные о работе системы — предоставлять журналы, показатели и трассировки для поиска причин сбоев.

Благодаря этому типовые операции выполняются по единым правилам в испытательной и рабочей средах. Команда может быстрее развертывать и обновлять приложения, повторять проверенные процедуры, контролировать использование ресурсов и видеть, на каком этапе возникла ошибка. Конфигурации и описания процессов можно хранить в системе контроля версий, что упрощает проверку изменений и восстановление предыдущего состояния.

Конкретные возможности зависят от типа платформы. Контейнерные оркестраторы распределяют рабочие нагрузки между вычислительными узлами, управляют сетевым взаимодействием и поддерживают заданное состояние приложений. Оркестраторы процессов отвечают прежде всего за расписание, последовательность задач, зависимости и результаты запусков.

При этом внедрение оркестратора не гарантирует надежность само по себе. Ошибка в общей политике или конфигурации может одновременно затронуть несколько компонентов, а чрезмерное количество повторных запросов — увеличить нагрузку на зависимую систему. Управляющие компоненты необходимо резервировать, защищать и обеспечивать достаточными ресурсами.

По мере развития инфраструктуры также усложняются правила, конфигурации и схемы процессов. Для сопровождения платформы требуются знания сетей, хранилищ, информационной безопасности, наблюдаемости и диагностики. Следует учитывать и переносимость решений: закрытые расширения, нестандартные форматы и тесная интеграция с одним поставщиком могут затруднить переход на другую платформу. Поэтому оркестрация приносит наибольшую пользу, когда ее правила документированы, изменения проверяются, а процедуры восстановления регулярно тестируются.

Основные виды оркестрации

Оркестраторы различаются по объекту управления: одни размещают вычислительные нагрузки, другие управляют графом задач, третьи ведут долгоживущий бизнес-процесс и хранят его состояние.

Оркестрация контейнеров

Контейнер — это изолированная среда выполнения приложения, которая включает его код, библиотеки и необходимые параметры. Контейнерный оркестратор управляет жизненным циклом таких сред.

Он выполняет следующие функции:

• распределяет контейнеры по узлам вычислительного кластера;
• поддерживает заданное количество экземпляров;
• контролирует потребление процессора и оперативной памяти;
• выполняет обновление приложений;
• заменяет отказавшие экземпляры;
• организует сетевое взаимодействие;
• подключает постоянные хранилища;
• распределяет пользовательские запросы.

Кластер — это группа объединенных вычислительных узлов, которыми управляют как единой системой.

В Kubernetes пользователь описывает желаемое состояние. Управляющая плоскость принимает декларацию, планировщик назначает под подходящему узлу, а контроллеры приводят текущее состояние к заданному.

Под в Kubernetes — это минимальная развертываемая группа из одного или нескольких контейнеров, которые совместно используют сеть и часть ресурсов.

Такой подход подходит для микросервисов — небольших самостоятельных компонентов приложения, каждый из которых выполняет отдельную бизнес-функцию. Количество экземпляров микросервиса можно изменять в зависимости от нагрузки.

Оркестрация данных и рабочих процессов

Оркестрация данных управляет перемещением и преобразованием информации между источниками, системами обработки и хранилищами. Процесс может включать:

• получение данных;
• проверку формата;
• удаление ошибочных записей;
• преобразование значений;
• объединение нескольких наборов;
• загрузку в хранилище;
• публикацию результата.

Оркестратор рабочих процессов описывает задачи и зависимости между ними. Например, отчет нельзя сформировать, пока не завершены загрузка продаж, проверка качества сведений и расчет итоговых показателей.

Система запускает независимые этапы параллельно, повторяет временно неудачные операции и сохраняет состояние каждой задачи.

Оркестрация микросервисов и бизнес-процессов

Один пользовательский сценарий может затрагивать каталог, оплату, склад, доставку и уведомления. Оркестратор хранит состояние процесса и централизованно определяет следующий шаг.

Например, обработка заказа может включать следующую последовательность:

1. Проверить наличие товара.
2. Зарезервировать нужное количество.
3. Провести оплату.
4. Передать заказ в службу доставки.
5. Отправить покупателю уведомление.

Если оплата не прошла, оркестратор может повторить запрос. Если деньги списаны, но доставка недоступна, система запускает компенсирующую операцию: отменяет резерв и оформляет возврат.

Для долгоживущих процессов важно продолжать выполнение после перезапуска приложения или отказа инфраструктуры. Оркестратор сохраняет историю операций и возобновляет процесс после сбоя, сетевой ошибки или временной недоступности внешнего приложения. 

Оркестрацию следует отличать от хореографии. В оркестрационной модели центральный координатор определяет последовательность действий. При хореографии каждый компонент реагирует на полученное событие и самостоятельно запускает следующий этап. Единого управляющего центра при этом нет.

Хореография уменьшает централизацию, но сложную цепочку событий труднее контролировать, диагностировать и восстанавливать.

Из каких компонентов состоит система оркестрации

Состав зависит от назначения платформы, но типовая система оркестрации включает несколько основных компонентов.

• Интерфейс программирования приложений (API). Принимает декларации, команды и запросы о состоянии системы.
• Управляющая плоскость. Хранит правила, обрабатывает сведения о системе и принимает решения.
• Планировщик. Выбирает узел, исполнителя или время запуска задачи.
• Контроллеры. Наблюдают за отдельными видами ресурсов и инициируют необходимые изменения.
• Хранилище состояния. Содержит конфигурацию, служебные сведения и текущие состояния объектов.
• Рабочие узлы. Предоставляют процессор, оперативную память, сеть и хранилище для выполнения нагрузки.
• Агенты узлов. Получают задания от управляющей плоскости, запускают их и передают сведения о состоянии.
• Очередь задач. Хранит задания до момента, когда исполнитель сможет их обработать.
• Исполнители. Непосредственно запускают контейнеры, программы, запросы или операции обработки данных.
• Средства наблюдения. Собирают журналы, показатели производительности и сведения о прохождении запросов.
• Средства безопасности. Управляют ролями, разрешениями, паролями, ключами и сертификатами.

В Kubernetes управляющая плоскость включает сервер программного интерфейса, хранилище etcd, планировщик и диспетчер контроллеров. Кластер также содержит один или несколько рабочих узлов.

Планировщик выбирает подходящий узел для пода. При этом он учитывает не только наличие свободных ресурсов, но и правила размещения, приоритеты, ограничения по оборудованию и расположение других компонентов.

В оркестраторах рабочих процессов архитектура может включать планировщик, базу служебных данных, очередь, исполнителей и рабочие процессы. Планировщик отслеживает зависимости и передает готовые задачи исполнителям.

Как проходит процесс оркестрации

Типовой процесс оркестрации состоит из нескольких этапов.

1. Пользователь или внешняя система задает желаемое состояние либо описание рабочего процесса.
2. Оркестратор проверяет конфигурацию, зависимости, права доступа и наличие ресурсов.
3. Планировщик определяет порядок выполнения и выбирает исполнителей.
4. Рабочие компоненты получают задания и необходимые параметры.
5. Исполнители запускают контейнеры, программы, запросы или операции обмена данными.
6. Оркестратор получает сведения о состоянии, результаты проверок, журналы и показатели.
7. При отклонении система повторяет задачу, меняет размещение, добавляет экземпляры, выполняет компенсацию или останавливает процесс.
8. Итоговое состояние сохраняется, а пользователь получает результат или уведомление об ошибке.

Цикл может выполняться один раз, по расписанию, после определенного события или непрерывно. Kubernetes постоянно согласует состояние кластера. Airflow создает отдельные запуски рабочего процесса и передает готовые задачи исполнителям после выполнения зависимостей.

Рассмотрим сценарий сбоя:

1. Проверка работоспособности обнаруживает, что экземпляр приложения недоступен.
2. Контроллер фиксирует расхождение с желаемым количеством экземпляров.
3. Планировщик выбирает подходящий рабочий узел.
4. Агент узла запускает новый экземпляр.
5. Проверка готовности подтверждает, что приложение может принимать запросы.
6. Балансировщик нагрузки добавляет новый экземпляр в обслуживаемую группу.

Чем оркестрация отличается от автоматизации

Автоматизация заменяет ручное выполнение отдельной операции. Например, программный сценарий может создать виртуальную машину, скопировать файл, установить обновление или запустить резервное копирование.

Оркестрация работает на более высоком уровне. Она объединяет несколько автоматизированных операций, учитывает порядок и условия перехода, распределяет ресурсы и контролирует общий результат.

Например, автоматизированный сценарий может развернуть приложение. Оркестратор дополнительно:

• проверит готовность инфраструктуры;
• запустит необходимое количество экземпляров;
• дождется успешного прохождения проверок;
• направит на новые экземпляры пользовательские запросы;
• остановит выпуск при ошибке;
• вернет предыдущую версию.

Инструменты автоматизации и оркестрации могут пересекаться. Ansible в первую очередь управляет настройкой узлов. OpenTofu (открытый форк Terraform после смены лицензии на BSL) описывает и создает инфраструктурные ресурсы. Jenkins координирует этапы сборки и доставки программного обеспечения. Kubernetes управляет контейнерными нагрузками во время их работы.

Поэтому сравнивать решения следует по объекту управления, а не только по наличию автоматических действий.

Популярные инструменты оркестрации

Универсального оркестратора для всех задач не существует. Одни системы управляют контейнерами, другие — инфраструктурой, третьи — потоками данных или бизнес-процессами.

Kubernetes, Docker Swarm, Nomad и OpenShift

Kubernetes — система оркестрации контейнерных нагрузок с декларативной моделью управления. Она размещает поды, поддерживает желаемое состояние, выполняет самовосстановление и изменяет количество экземпляров.

Kubernetes подходит для сложных распределенных приложений, однако требует знаний в области сетей, хранилищ, безопасности и эксплуатации кластеров.

Docker Swarm (встроенная система кластерного управления Docker) входит в состав среды выполнения Docker Engine. Кластер состоит из управляющих и рабочих узлов, а описание службы задает желаемое количество выполняемых задач.

Swarm прост в базовой настройке, но Docker развивает его в режиме поддержки: крупных новых возможностей не выходит, а экосистема расширений заметно меньше, чем у Kubernetes. Для новых проектов это ограничение важнее простоты настройки. 

HashiCorp Nomad (распределенный планировщик рабочих нагрузок) управляет контейнерными и неконтейнерными заданиями. Пользователь описывает требуемое состояние и ресурсы, серверы рассчитывают размещение, а рабочие узлы выполняют назначенные задачи.

Nomad поддерживает постоянно работающие приложения, периодические задания и разовые вычислительные операции.

Red Hat OpenShift (корпоративная контейнерная платформа) построена на основе Kubernetes. Она дополняет контейнерную оркестрацию средствами разработки, безопасности и эксплуатации. Ядро оркестрации в OpenShift — тот же Kubernetes. Поэтому OpenShift — готовая платформа, а не самостоятельный оркестратор.

Apache Airflow, Luigi, NiFi и Temporal

Apache Airflow (система управления рабочими процессами) предназначен для разработки, планирования и наблюдения за периодическими процессами.

Процесс описывается в Python как направленный ациклический граф (DAG). Такой граф содержит задачи, зависимости, расписание и правила повторного запуска. Планировщик определяет готовые задачи и передает их исполнителям.

Luigi (описывает зависимости между задачами обработки данных) подходит для программно описанных последовательностей обработки данных. Он определяет, какие результаты уже созданы и какие задачи необходимо выполнить для получения итогового результата.

Apache NiFi (система управления потоками данных) автоматизирует перемещение информации между приложениями. Визуальная схема из обработчиков и соединений помогает направлять, преобразовывать и контролировать потоки.

NiFi сосредоточен на передаче данных. Airflow в первую очередь управляет порядком выполнения задач.

Temporal (платформа надежного выполнения рабочих процессов) применяется, когда операция длится долго, ожидает внешних событий и должна продолжиться после сбоя.

Примеры таких процессов:

• оформление заказа;
• подключение нового клиента;
• проведение платежа;
• бронирование;
• согласование документов;
• обработка заявления.

Где применяется оркестрация

Оркестрация применяется в разных областях ИТ:

• в совместной разработке и эксплуатации программного обеспечения (DevOps);
• в непрерывной интеграции и доставке программного обеспечения (CI/CD);
• в контейнерной инфраструктуре;
• в системах виртуализации;
• в облачных средах и центрах обработки данных (ЦОД);
• в аналитических системах;
• в интеграционных проектах;
• в системах обработки заказов и платежей;
• в информационной безопасности;
• в машинном обучении;
• в гибридной инфраструктуре.

В процессах непрерывной интеграции и доставки оркестратор координирует сборку, проверку, испытания и развертывание программы.

В контейнерной инфраструктуре он распределяет приложения по узлам, проверяет их состояние и изменяет количество экземпляров.

В аналитике система определяет последовательность загрузки, очистки, преобразования и публикации данных.

На уровне виртуализации операции с виртуальными машинами, сетями и хранилищами становятся составными частями более крупного процесса. Платформа SpaceVM (реестр российского ПО №16085, разработчик — ДАКОМ М) дает внешнему оркестратору программный интерфейс к этим объектам: создание и удаление ВМ, изменение конфигурации, работу с дисками и сетевыми подключениями. Оркестратор вызывает эти операции как шаги сценария — например, разворачивает вычислительную среду, устанавливает приложение и проверяет его доступность. 

В гибридной инфраструктуре часть приложений работает в собственном центре обработки данных, а часть — в облаке. Единые правила помогают согласованно управлять ресурсами и процессами в разных средах.

Как выбрать подходящий оркестратор

Выбор следует начинать не с названия продукта, а с объекта управления и требований к процессу.

1. Определить объект управления. Это могут быть контейнеры, виртуальные машины, облачные ресурсы, задания обработки данных или бизнес-процессы.
2. Выбрать способ описания. Процесс может задаваться декларацией состояния, графом задач, программным кодом, визуальной схемой или событиями.
3. Определить правила обработки ошибок. Следует учесть повторы, предельное время выполнения, откат, компенсации и сохранение состояния.
4. Оценить масштаб. Важны количество узлов, число задач, параллельные запуски и объем пользовательских запросов.
5. Проверить необходимые интеграции. Оркестратор должен взаимодействовать с базами данных, очередями, облачными службами, хранилищами и средствами наблюдения.
6. Учесть требования безопасности. Необходимы роли, журналирование действий, изоляция, шифрование и принцип минимальных привилегий.
7. Оценить возможности команды. Сложность платформы должна соответствовать знаниям специалистов, которые будут ее внедрять и сопровождать.
8. Проверить переносимость. Следует учитывать форматы конфигурации, зависимость от поставщика и стоимость перехода на другое решение.
9. Оценить эксплуатационные расходы. Нужно учитывать не только стоимость лицензий, но и ресурсы, обучение, сопровождение и обновление системы.

Для развитой контейнерной платформы подходят Kubernetes или OpenShift. Для сравнительно компактного планирования разных видов нагрузок можно рассмотреть Nomad. Для периодических графов обработки данных применяют Airflow или Luigi. Для управляемого перемещения информации между системами подходит NiFi. Для надежных долгоживущих процессов используют Temporal.

Разные оркестраторы решают разные задачи. Определите объект управления и требования к обработке ошибок — после этого список кандидатов сузится до двух-трёх продуктов, и останется сравнить их по масштабу, интеграциям и возможностям команды. 

Главное по теме

• Оркестрация — это автоматизация отдельных операций плюс управление их порядком, зависимостями, состоянием и обработкой ошибок. Автоматизация выполняет один шаг, оркестрация ведёт весь сценарий.
• Оркестраторы различаются по объекту управления: контейнерные размещают вычислительные нагрузки, оркестраторы задач ведут граф обработки данных, оркестраторы бизнес-процессов хранят состояние долгоживущих операций.
• В основе инфраструктурных оркестраторов лежит согласование состояния: система сравнивает желаемое состояние с фактическим и запускает корректирующие операции, пока они не совпадут.
• Оркестратор не дает надежность сам по себе. Управляющие компоненты нужно резервировать, правила — документировать, а процедуры восстановления — регулярно проверять.
• Выбор начинается не с продукта, а с объекта управления и требований к обработке ошибок. Kubernetes и OpenShift — для контейнеров, Nomad — для смешанных нагрузок, Airflow и Luigi — для графов обработки данных, NiFi — для потоков данных, Temporal — для долгоживущих процессов.
• На уровне виртуализации оркестратор вызывает операции с ВМ, сетями и хранилищами как шаги сценария. Платформа SpaceVM (реестр российского ПО №16085) дает для этого программный интерфейс к объектам инфраструктуры.