BIG DATA 2021: Инфраструктура для больших данных

На организованном издательством «Открытые системы» десятом ежегодном форуме обсуждалась современная инфраструктура поддержки работы с большими данными. В информационную эпоху и государство, и бизнес должны уметь быстро собирать актуальную информацию о своих гражданах и клиентах, оперативно предлагая им актуальные персональные сервисы. Однако, несмотря на декларации о том, что данные превратились в ключевой драйвер цифрового развития бизнеса, существующие аппаратно-программные инфраструктуры построены на унаследованной централизованной архитектуре, часто неспособной в реальном времени решить главную задачу бизнеса — стать клиентоцентричным. Участники форума BIG DATA 2021 имели возможность из первых рук получить информацию о современных архитектурах и решениях обработки больших данных. Алексей Сидоров, директор по управлению данными компании Denodo в странах Европы, Ближнего Востока и Африки (регион EMEA), рассказал о проекте по управлению мастер-данными министерства социального страхования неназванной страны. За два месяца на основе архитектуры Virtual Data Fabric была развернута крупномасштабная система мониторинга сведений о гражданах страны, позволяющая в реальном времени получать актуальную консолидированную информацию из всех министерств. Данные не перемещаются и хранятся в исходном виде в точках их генерации. Это существенно сокращает время на их очистку, консолидацию и визуализацию для предоставления по запросу с целью формирования «на лету» полного актуального портрета гражданина, построенного по его цифровым следам. Такая возможность позволяет исключить ошибки, дублирование или потерю сведений при назначении социальных страховок и различных выплат, а также при оценке покупательной способности граждан и реализации других функций институтов государственной власти. Алексей Коваленя из компании Atos в своем выступлении «Эволюция инфраструктуры для работы с большими данными» рассказал о различных подходах к построению инфраструктуры поддержки обработки больших данных, включающую оборудование, сетевое и системное ПО. Сегодня компания предлагает не только высокопроизводительные серверы, но и, в альянсе с Cloudera, решения Atos Datalake Appliance по управлению данными на основе адаптированных для конкретного заказчика распределенных аппаратно-программных систем. Такие решения включают серверы, сеть, ПО, прикладные сервисы. Среди отмеченных докладчиком преимуществ представленных продуктов — сертификация от Cloudera, единое окно для управления инфраструктурой, готовая к использованию и протестированная конфигурация с гарантированным уровнем производительности. Наличие одного поставщика, отвечающего за решение, позволяет безболезненно выполнять масштабирование, сокращать время на ввод системы в эксплуатацию и использовать различные формы оплаты: аренду, рассрочку или Datalake-as-a-Service. Тему эффективности инфраструктуры продолжил на форуме Александр Кузьмин, главный консультант по технологиям Pure Storage, рассказавший об организации систем хранения для решения задач аналитики реального времени. Доля таких задач к 2025 году составит уже более 30% от общего объема аналитических приложений, и, как следствие, по мнению Кузьмина, сократится потребность в статичных озерах данных. От современных систем хранения требуется поддержка быстрых изменений и быстрого накопления разнородных данных, однако традиционные системы оптимизированы для пакетной обработки, а не для режима реального времени. Для раскрытия потенциала больших объемов консолидированных данных компания предлагает, в частности, платформу хранения Pure Storage Flashblade, обеспечивающую линейное масштабирование, развертывание конфигурации за минуты, упрощенное управление и обеспечение гарантированного времени отклика как при последовательном доступе к большим файлам, так и при произвольном доступе к множеству потоков небольших файлов. Кроме того, в систему изначально заложена поддержка протокола s3 объектного хранения, позволяющего просто и надежно хранить объемные объекты — почти так же, как с помощью файловой системы, но без разбиения их на папки. Проблему обеспечения надежной и безопасной работы с интернет-ресурсами поднял Александр Брыль, инженер по разработке алгоритмов машинного обучения в компании DDOS Guard. Применение машинного обучения при анализе больших массивов данных позволяет с точностью до 85% обеспечить защиту от различных ботов: ботнетов для DDoS-атак, шпионов для сбора данных, зомби-ботов для поиска уязвимостей, ботов — скупщиков билетов, ботов, выполняющих скликивание (мошенническое нажатие кнопок на сайте), и пр. Конфигурационный и поведенческий анализ посетителей сайта позволяет выявить и идентифицировать бота, отделив его от реального человека, просматривающего сайт. Предлагаемые методы позволяют на 80% сжать трафик за счет унификации запросов, защититься от перегрузок сервера, отфильтровать спам, предотвратить взлом аккаунтов и кражи данных банковских карт. Как показал форум, многие российские предприятия уже получают эффект от цифровой трансформации. Например, по словам Александра Мотузова, начальника управления методологии и разработки математических моделей НЛМК, в 2020 году предприятие сэкономило 1 млрд руб. благодаря, в частности, собственной DSMLp-платформе анализа данных и моделирования, ставшей очередным шагом к умному производству. Платформа представляет собой инструмент, позволяющий специалистам по данным передавать знания, полученные из данных, инженерам, создающим производственные системы, но не в виде модели для каждого конкретного применения, а в виде конвейера создания и постоянного обучения модели на новых данных. При этом у системы нет «черных ящиков», а эксплуатация моделей не прекращается при уходе подрядчика, сотрудника или разработчика готового решения с моделью. Такую платформу, по мнению Мотузова, нельзя купить: процессы для каждого предприятия уникальны и генерируют уникальные данные; модели машинного обучения строятся на собственных данных; технологические процессы и сырье для металлургического производства постоянно меняются, что требует смены методов обучения; интерпретация моделей машинного обучения позволяет открывать новые физические свойства процессов и получать новые знания. Тему работы с моделями продолжил Станислав Ляховецкий, директор по управлению портфелем проектов банка ВТБ, сосредоточивший свое выступление на вопросах управления модельным риском — риском потерь в результате ошибочных решений, основанных на результатах работы моделей. Ясно, что игнорирование таких рисков может дорого обойтись как компании, так и государству и его гражданам — например, в результате неверно поставленного медицинского диагноза, основанного на рекомендациях искусственной нейронной сети. Сегодня нет качественного решения корпоративного уровня по оценке модельных рисков: большинство зарубежных систем (AWS, MLflow SAS, Seldon и др.) предназначены лишь для ускорения разработки модели, а не для налаживания конвейера от бизнес-идеи, подготовки данных, валидации и до мониторинга работы модели с учетом всех онтологий. В России, по мнению Ляховецкого, подобные решения имеются у компании Loginom, хотя потребность в таких инструментах давно назрела, в частности, для того, чтобы бизнес сам без программирования строил и проверял модели. Данные и люди Специальный тематический блок был посвящен вопросам подготовки кадров и организации образовательного процесса на основе анализа больших данных. Андрей Комиссаров, директор направления «Развитие человека на основе данных» Университета 20.35, рассказал о цифровизации в области управления кадрами, которая значительно обогатилась инструментами искусственного интеллекта, позволяющими строить модель данных о человеке в развитии. Поиск персонала, контроль рабочего режима сотрудников, анализ предпочтений человека и другие задачи решают сегодня в Университете 20.35 путем анализа множества данных (вакансии, резюме, конференции, различные опросы и пр.). Комиссаров рассказал об опыте автоматизированного построения моделей компетенций и профстандартов по заказу Министерства труда РФ, о комплексном анализе уровня корпоративной культуры и диагностике soft skills с помощью оценки неструктурированных данных, об инструментарии подбора проектных команд для решения разных типов задач на основе онтологий профессиональных областей, построенных с помощью системы PolyAnalyst российской компании «Мегапьютер Интеллидженс». Так, на основе модели о человеке в развитии можно предсказать, сможет ли он дорасти для работы на конкретной вакансии, — иначе говоря, найти еще не сформировавшегося (а значит, дорогого), но потенциально перспективного сотрудника. Другой пример — построение профиля цифровой компетенции для создания карты востребованности конкретных навыков специалистов в различных регионах России. Такая карта позволит, например, убедиться в том, что учебные заведения выпускают нужных рынку специалистов, а студенты с ее помощью смогут наметить наиболее перспективную траекторию своего развития, чтобы больше зарабатывать. На основе анализа и интерпретации цифрового следа сотрудников можно также оценить их вовлеченность в работу, роль в команде, степень участия в общей системе взаимоотношений, а также общую культуру команды. Подобные сервисы сегодня востребованы инвесторами стартапов, чиновниками, стремящимися быть в тренде, HR-подразделениями предприятий и пр. Тему оценки эффективности работы сотрудника на основе анализа его цифрового следа продолжил Иван Исаев, директор направления анализа данных в МТС, уверенный в том, что полученные сведения могут быть использованы для повышения эффективности управления кадрами. Анализ позволит строить прогноз «выгорания» сотрудника, обеспечивать сокращение трудоемкости операций, переводить работников на удаленную работу или частичную занятость вне пиковых периодов, формировать эффективные кросс-функциональные команды и пр. Применяя комплексную методологию BCG BioTag, в компании сегодня анализируют статистику коммуникационных потоков между специалистами и степень использования рабочего времени, а также задействуют информацию еще из пяти различных баз данных и из пула неструктурированных данных (тексты, записи звонков и пр.). Это позволяет построить карту «спроса-предложения». Система учета и анализа цифрового следа дает возможность выполнять мониторинг эффективности труда подразделения и сотрудников; прозрачно ранжировать сотрудников по производительности труда и утилизации их рабочего времени, анализировать их загруженность. Система позволила на 20% сократить время на выполнение 100 элементов бизнес-операций, снизить отток сотрудников и получить общий прирост эффективности подразделений от 5% до 15%. Кроме того, анализ цифрового следа позволил оптимизировать бизнес-процессы: идентифицировать самые автоматизируемые процессы; оценить затраты времени на процесс и текущий уровень его автоматизации; расставить приоритеты в автоматизации или оптимизации процессов. *** Форумы Big Data проводятся с 2012 года, и доклады, представленные на нем в разное время, акцентировались на технологиях, что отражало существовавшие до недавнего момента тенденции и оставляло за кадром контент — главное предназначение ИТ. И только BIG DATA 2021 показал: оборудование, ПО и технологии не являются главным активом цифровой экономики. Главное — это сами данные, для работы с которыми уже непригодны традиционные системы передачи, хранения и обработки с жесткой, заранее запрограммированной логикой. Современные инфраструктуры для работы с большими данными должны давать возможность и коммерческим компаниям, и государственным организациям отвечать на вопросы, о которых они еще не знают.