Премия InfoWorld «Технология года — 2025»: Управление данными: потоковая передача

ИТ-ландшафт преображают два мощных тренда: взрывной рост генеративного ИИ и автономных агентов, перестраивающих процессы разработки, и стратегический переход к унифицированным платформам данных, открытым стандартам и потоковой аналитике. Вместе они формируют новую модель работы, в которой тотальная автоматизация дополняется всеобъемлющим контролем, устанавливая оптимальный баланс между скоростью и надежностью.

Эти тренды находят своё воплощение в решениях, отмеченных ежегодной премией InfoWorld «Технология года». В 2025 году в номинации «Управление данными: потоковая передача» победу одержали продукты, которые обеспечивают непрерывную обработку данных в реальном времени. Такие платформы трансформируют неструктурированные потоки информации в контекстуально богатые, семантически связанные потоки, готовые для мгновенной аналитики и принятия решений. Они создают «цифровую нервную систему» для бизнеса, где данные автоматически обогащаются, фильтруются и подготавливаются для AI-моделей прямо в движении.

Управление данными: потоковая передача — победители и финалисты

• Confluent Cloud, Confluent — победитель
• Hydrolix, Hydrolix — финалист
• Lenses, Lenses.io — финалист

Confluent Cloud от Confluent — победитель

Confluent Cloud — это полностью управляемая облачная платформа потоковой передачи данных, созданная разработчиками Apache Kafka. Она устраняет операционную сложность, связанную с управлением инфраструктурой Kafka с открытым исходным кодом, позволяя командам быстро создавать, масштабировать и безопасно запускать конвейеры данных в реальном времени.

Ключевые возможности платформы:

• Полностью управляемый Apache Kafka: Облачный движок Kora обеспечивает автоматическое масштабирование ресурсов в зависимости от нагрузки (бессерверные кластеры), что сокращает затраты на инфраструктуру и позволяет платить только за фактическое потребление.
• Потоковая обработка с Apache Flink: Интегрированный сервис Confluent Cloud for Apache Flink позволяет фильтровать, объединять и обогащать потоки данных с помощью SQL или API, поддерживая сложную аналитику в реальном времени.
• Управление данными (Stream Governance): Встроенный набор инструментов включает Schema Registry для контроля форматов данных, Stream Catalog для их обнаружения и Stream Lineage для отслеживания происхождения и зависимостей потоков.
• Гибридная и мультиоблачная интеграция: Функция Cluster Linking позволяет легко реплицировать и обмениваться данными между различными облачными средами (AWS, Azure, GCP), локальными центрами обработки данных и даже с кластерами Confluent Platform.
• Предварительно созданные коннекторы: Платформа предлагает более 120 готовых коннекторов для баз данных (PostgreSQL, MongoDB), хранилищ данных (Snowflake, BigQuery) и SaaS-сервисов, что ускоряет построение конвейеров.

Безопасность и соответствие требованиям:Confluent Cloud предоставляет комплексные средства защиты, включая шифрование данных в движении и покое, управление доступом на основе ролей (RBAC), приватные сетевые подключения и поддержку собственных ключей шифрования (BYOK). Платформа соответствует ключевым отраслевым стандартам, таким как SOC 2, ISO 27001, PCI DSS, HIPAA и GDPR.

Сценарии использования:Платформа поддерживает широкий спектр задач, от построения традиционных потоковых конвейеров (ETL) до питания современных приложений на базе искусственного интеллекта и генеративного ИИ (GenAI). Она используется крупными компаниями в различных отраслях: Walmart оптимизирует управление запасами, BMW Group объединяет данные IoT с заводов, а Capital One применяет её для обнаружения мошенничества в реальном времени.

Таким образом, с выступает как центральная нервная система для данных организации, объединяя системы и обеспечивая мгновенный доступ к надежным потокам информации, что позволяет бизнесу быстрее принимать решения и создавать новые приложения.

Мнение судей: «Confluent Cloud расширяет возможности Kafka и Flink, превращая их в управляемую бессерверную платформу, которая объединяет потоковую передачу и пакетную обработку, упрощая использование данных в реальном времени для ИИ и аналитики. Инновации Confluent Cloud — Tableflow, Flink Native Inference и Flink Search — приближают потоковую передачу к корпоративным рабочим процессам ИИ, а надёжные функции обеспечения бесперебойной работы и управления обеспечивают масштабируемую надёжность».

Hydrolix от Hydrolix — финалист

Hydrolix — это потоковое озеро данных (streaming data lake), специально созданное для анализа массивных объемов логов и данных временных рядов в реальном времени. Его ключевая задача — преодолеть классический компромисс между стоимостью, производительностью и глубиной хранения, позволяя компаниям годами работать с петабайтами «горячих» данных без агрегации или выборки.

Ключевые возможности:

• Аналитика в реальном времени и историческая: Платформа обеспечивает субсекундную скорость запросов как к данным, полученным секунду назад, так и к информации, хранящейся несколько лет, без деградации производительности.
• Обработка данных при приеме (ingest): Hydrolix поддерживает потоковый прием данных через Kafka, Kinesis, HTTP и пакетную загрузку. Платформа позволяет обогащать, преобразовывать и даже агрегировать данные на лету, немедленно делая их доступными для запросов.
• Высокоэффективное хранение: Благодаря передовому сжатию (в среднем 20-50x) и запатентованному формату хранения, Hydrolix радикально снижает стоимость хранения данных. По данным компании, клиенты достигают сокращения затрат на 75% и более по сравнению с традиционными системами управления логами, такими как Splunk или Elastic.

Hydrolix предлагает экономически предсказуемую модель: основные расходы связаны с объемом обрабатываемых данных, а не с количеством запросов или их сложностью. Платформа доступна как в виде полностью управляемого сервиса (Hydrolix-managed), так и в виде программного обеспечения для развертывания в собственной инфраструктуре заказчика на Kubernetes, что позволяет использовать корпоративные скидки облачных провайдеров. Архитектурные особенности платформы:

• Разделение вычислений и хранения (Stateless compute): Компоненты для приема данных, выполнения запросов и управления жизненным циклом масштабируются независимо друг от друга. Данные хранятся в надежных облачных объектных хранилищах (Amazon S3, Google Cloud Storage), что обеспечивает гибкость и высокую отказоустойчивость.
• Индексация всех столбцов (Per-column indexing): Hydrolix автоматически индексирует все поля в данных, что позволяет выполнять сверхбыстрые «поиски иголки в стоге сена», избегая дорогостоящих полных сканирований таблиц.
• Изоляция рабочих нагрузок (Sandbox isolation): Платформа позволяет создавать отдельные пулы ресурсов для разных команд или запросов, предотвращая проблему «шумного соседа», когда один тяжелый запрос замедляет работу всей системы.

Hydrolix используется в широком диапазоне сценариев:

• Масштабируемая наблюдаемость (Observability): Мониторинг распределенной инфраструктуры, CDN, замены ELK/Splunk-стеков с радикальным сокращением затрат.
• Безопасность и SIEM: Детектирование угроз и расследование инцидентов с сохранением полной глубины неагрегированных логов для ретроспективного анализа.
• AdTech аналитика: Обработка миллиардов событий в реальном времени для биддинга, оптимизации рекламных кампаний и отчетности.
• MLOps и операции ИИ: Подготовка больших объемов структурированных данных временных рядов для обучения моделей машинного обучения и мониторинга их работы.

Платформа Hydrolix является сильным решением для компаний, которые сталкиваются с экспоненциальным ростом машинных данных и устали от компромиссов между производительностью, стоимостью и глубиной аналитики.

Lenses от Lenses.io — финалист

Lenses — это единая платформа (Data Operating Platform) для управления, наблюдения и разработки приложений на основе Apache Kafka. Она создана, чтобы предоставить разработчикам и платформенным инженерам полную видимость и контроль над распределёнными потоками данных в реальном времени.

Платформа решает несколько критических задач для команд, работающих с потоковыми данными:

• Управление (Govern): Lenses предлагает централизованное, глобальное управление доступом и разрешениями (IAM) для всех кластеров Kafka в компании. Это позволяет применять политики безопасности и предоставлять самообслуживание сотням разработчикам.
• Обнаружение (Discover): Lenses работает как единый глобальный каталог данных, где можно исследовать потоки через SQL-интерфейс (SQL Studio), что превращает «чёрный ящик» Kafka в понятный и открытый ресурс.
• Обработка (Process): Разработчики могут преобразовывать, фильтровать и обогащать потоки данных с помощью SQL-процессоров, не углубляясь в сложный код. Это ускоряет создание приложений с часов до недель.
• Интеграция (Integrate): Платформа упрощает управление коннекторами Kafka Connect, миграцию и репликацию данных между различными кластерами Kafka без привязки к вендору (K2K replicator).
• AI-ассистенты для потоковых данных: Lenses интегрирована с AI-копиллотами через Model Context Protocol (MCP), помогая разработчикам строить и устранять неполадки в потоковых приложениях с помощью искусственного интеллекта.

Lenses приносит пользу разным ролям в организации:

• Платформенные инженеры получают единую точку управления для всех кластеров Kafka, что помогает масштабировать инициативы и избегать «аварийных комнат».
• Разработчики приложений получают инструменты для быстрого прототипирования, обработки данных на SQL и самостоятельной работы с потоками, что значительно повышает производительность.
• Технические лидеры ускоряют вывод инноваций на рынок, обеспечивая команды надёжной инфраструктурой для создания AI-приложений, работающих с данными в реальном времени.

Платформа совместима с любой инфраструктурой Kafka, предлагает различные варианты развертывания, включая Kubernetes, и используется такими компаниями, как Flow Traders, Arity и Adidas.

ПРЕМИЯ INFOWORLD «ТЕХНОЛОГИЯ ГОДА — 2025»: УПРАВЛЕНИЕ ДАННЫМИ: БЕЗОПАСНОСТЬ

Сообщение Премия InfoWorld «Технология года — 2025»: Управление данными: потоковая передача появились сначала на DGL.RU - Цифровой мир: новости, тесты, обзоры телефонов, планшетов, ноутбуков.