Как унифицированная аналитическая платформа СУБД помогает в разы ускорить хранилище данных, сохраняя при этом привычные инструменты для подготовки и анализа данных.
Как правило, у компаний имеется большое количество унаследованных аналитических систем, в которые сделаны солидные инвестиции. Но что делать, если имеющиеся BI-инструменты уже не справляются ни с увеличивающимися объемами данных, ни с аппетитами бизнеса? И можно ли преобразовать ландшафт данных и аналитики эволюционным путем — без серьезных потрясений, по возможности не отказываясь от инвестиций в прежние наработки?
Этой непростой теме посвятил свое выступление Александр Скоробогатов, архитектор решений Vertica в России и СНГ, на форуме «Управление данными 2021». Он предложил обратить внимание на программные платформы, способные мягко встраиваться в существующие ИТ-ландшафты, замещая прежние неудобные и неэффективные при работе с большими данными СУБД. Такие платформы становятся, по сути, точками унификации всех данных предприятия.
Например, платформа Vertica позволяет использовать «классический» подход к хранилищам данных, но при этом применять новые, современные способы их анализа. Предприятия могут перейти на нашу платформу, не отказываясь ни от прежних инструментов и наработок ETL, BI и пр., ни от действующих правил в области разграничения доступа к данным и корпоративных политик ИБ.
В составе Vertica имеется более 650 аналитических функций, позволяющих перенести анализ как можно ближе к данным, не выгружая во внешние системы. Взаимодействие с Kafka и Spark, драйверы ODBC, открытые API, поддержка стандартного языка запросов SQL и прочие возможности интеграции Vertica с другими системами позволяют использовать всю мощь созданных ранее процессов преобразования данных и гармонично встраиваться в существующие потоки обработки данных.
|
|
|
Александр Скоробогатов, архитектор решений Vertica в России и СНГ компании Micro Focus |
«Мы пока не встречали индустриальных и даже заказных решений для работы с данными, которые были бы принципиально несовместимы с Vertica», — отметил Александр Скоробогатов.
Созданная на основе колоночной архитектуры СУБД, Vertica отлично справляется с аналитическими запросами, к тому же может очень быстро и эффективно горизонтально масштабироваться. Эту СУБД можно развернуть на любой современной платформе — от стандартных серверов x86 с внутренними дисками (можно установить и на обычный ноутбук) до облачных и контейнерных сред. Возможности эластичного масштабирования позволяют очень быстро адаптировать платформу к растущим объемами данных. А недавно появилась нативная поддержка облачных сред аналитической платформы — Vertica Accelerator, доступная по схеме SaaS, и Kubernetes Operator для развертывания кластера Vertica Eon Mode в Kubernetes.
Как и всякая индустриальная СУБД, Vertica имеет встроенные механизмы обеспечения отказоустойчивости, в том числе резервного копирования и восстановления данных, и предоставляет возможность создания распределенных кластерных конфигураций с узлами, расположенными в разных ЦОДах.
Обсуждение тенденций в области управления данными и роли аналитических платформ СУБД в нем на полях форума «Управление данными 2021» продолжилось с Евгением Степановым, руководителем направления Vertica в России и СНГ компании Micro Focus.
— Как изменились требования к системам аналитики данных за последние пару лет?
Предприятия сегодня вынуждены охватывать все большие объемы данных. Кроме того, растет уровень требований к SLA при предоставлении данных разным группам пользователей. Рабочие нагрузки систем бизнес-аналитики могут при этом существенно различаться: специалистам по данным (data scientists) нужно просчитывать сложные аналитические функции, бизнес-пользователям надо в отведенные сроки готовить отчетность для регулирующих органов, а топ-менеджерам требуется доступ к произвольной аналитике в любой момент, когда это потребуется.
Помимо роста объемов данных, предприятия столкнулись с повышением их сложности, а также с ограничениями при использовании устаревающих технологий их обработки. Совокупность этих факторов приводит к тому, что предприятия не могут эффективно обрабатывать данные и получать нужные результаты, используя имеющиеся у них технологии.
— Повлияли ли новые требования бизнеса на характер управления данными?
Конечно, повлияли. Наши заказчики всё больше внимания уделяют правильной связке различных атрибутов и объектов в аналитических системах и их эволюции в корпоративных хранилищах данных. Компании хотят не просто хранить данные, но обеспечивать жизненный цикл того или иного объекта данных.
— Актуальна ли сегодня задача организации работы с большими данными?
Эта задача трансформировалась. Предприятиям приходится работать не с каким-то облаком данных непонятной структуры, а с гетерогенным ландшафтом, охватывающим и озера данных, и корпоративные хранилища данных, и различные лаборатории по управлению данными и их анализу. Встает потребность в унификации всех этих аналитических функций и предоставлении единой точки входа для пользователей этих систем.
— В чем состоит эта ваша идея унификации?
Анализируя опыт заказчиков, мы заметили, что большинство из них уже потратили много сил и средств на развитие своих аналитических систем на основе Hadoop и других платформ. Зачастую их сложность и высокие требования к трудозатратам достигают такого уровня, что не дают заказчикам эффективно анализировать данные на базе прежних хранилищ. Чтобы преодолеть эти ограничения, мы предложили концепцию унифицированного аналитического хранилища, позволяющего организовать прозрачный единообразный доступ к данным независимо от того, где они размещаются — локально, в Hadoop, в облаке S3 или как-то еще. Это ключевой фактор успеха аналитической системы в организации: аналитикам предоставляется возможность использовать единый инструментарий, не заботясь о том, где находятся данные.
— В чем преимущества унификации аналитики по сравнению с традиционными подходами к управлению данными?
Следуя традиционным подходам, приходится придерживаться крайних позиций: либо берется строго структурированная модель и в ее рамках реализуются трансформация данных, строгая отчетность и негибкие витрины данных, либо реализуется озеро данных без использования строгой структурированной модели, а пользователям предоставляется произвольная аналитика. Vertica позволяет реализовать унификацию доступа: независимо от того, какая выбирается модель данных, у пользователей есть единый набор инструментария для работы с данными, и им не нужно заботиться о том, где и как эти данные хранятся.
|
|
|
Евгений Степанов, руководитель направления Vertica в России и СНГ компании Micro Focus. |
— Насколько возможно сочетание проприетарности платформы и открытости в системах аналитики данных?
Когда речь идет о продуктах с открытым кодом, очень важно обращать внимание на открытость их интерфейсов для интеграции с другими системами. Зачастую такие продукты имеют весьма ограниченные возможности интеграции.
Команда Vertica является приверженцем открытости архитектуры — она позволяет интегрировать платформу СУБД с любыми системами — и проприетарными, и с открытым кодом. Это дает возможность не привязываться к конкретной концепции создания кода аналитического инструментария, а сконцентрироваться на реализации требований, предъявляемых к аналитике данных.
— Как может выглядеть унифицированная аналитическая платформа на примере Vertica?
Наша платформа — очень гибкий инструмент для аналитики данных. Даже скачав бесплатную версию и развернув ее на ноутбуке, вы получите полнофункциональную систему, которая позволит делать ту же аналитику, что и большое предприятие с его петабайтами данных.. Если у вас небольшое предприятие, вы можете с помощью Vertica эффективно решать свои аналитические задачи, масштабируя платформу по мере роста объемов данных, которые вы обрабатываете. Ну а большая компания, перейдя на Vertica, получает возможность не просто сохранить прежние инвестиции в созданные за предыдущие годы наработки в области аналитики, а усилить их эффективность, существенно повысив производительность своих аналитических систем.
— Можно ли привести примеры практической реализации унифицированной аналитической платформы на базе Vertica у реальных заказчиков? Есть ли такие заказчики в России?
Да, конечно. В одной из крупных транспортных компаний, работающих в России, Vertica применяется в качестве основного оперативного хранилища данных. В ряде ее подразделений использовались инструменты, которые позволяли быстро загружать данные, при этом аналитика работала медленно. Благодаря интеграции с Vertica эти подразделения смогли обеспечить быструю аналитику по своим розничным клиентам, объединив ее с корпоративным хранилищем данных.
— Каковы главные результаты применения унифицированной аналитической платформы, в том числе с точки зрения управления данными? В чем может проявляться эффект от ее использования в бизнесе?
Важным эффектом ее применения становится переход организации к управлению на основе данных — это один из ключевых моментов при использовании унифицированной аналитической платформы. Он выливается в прямой экономический эффект, в том числе в повышение прибыльности компании-заказчика и ее капитализации. В примерах, которые мы наблюдаем, отслеживается четкая корреляция между переходом на Vertica и повышением качества принимаемых управленческих решений.
— Какие факторы могут стать препятствием на пути получения выгоды от применения унифицированной аналитики данных?
Нередко бывает так, что бизнес-подразделения предприятий не ориентированы на то, чтобы эффективно анализировать данные и использовать полученные выводы для принятия решений. И мы видим, что компании, которые не могут эффективно реализовать современные требования к аналитике, теряют клиентов, не справляются с вызовами, возникающими у современного бизнеса, в результате их конкурентоспособность падает.
— На каких еще направлениях фокусируется команда Vertica, помимо унификации аналитического хранилища?
Vertica изначально создавалась как продукт для высокопроизводительной аналитики, поэтому ее производительность — по-прежнему один из наших ключевых приоритетов. Сегодня мы являемся одними из лидеров по скорости обработки огромных объемов данных. Петабайтные внедрения Vertica постепенно перестают быть экзотикой — они есть уже и в России. Немногие СУБД способны эффективно справляться с подобными объемами.
Еще одно очень важное направление — развитие аналитического функционала. Спектр наших новшеств простирается от расширения функций для работы с определенными наборами данных до продвинутой аналитики, машинного обучения и т.д.
