Добавить новость
Август 2012
Сентябрь 2012
Октябрь 2012
Ноябрь 2012Декабрь 2012Январь 2013Февраль 2013Март 2013Апрель 2013Май 2013Июнь 2013Июль 2013Август 2013Сентябрь 2013Октябрь 2013
Ноябрь 2013
Декабрь 2013Январь 2014Февраль 2014Март 2014Апрель 2014Май 2014Июнь 2014Июль 2014Август 2014Сентябрь 2014Октябрь 2014Ноябрь 2014Декабрь 2014Январь 2015Февраль 2015Март 2015Апрель 2015Май 2015Июнь 2015Июль 2015Август 2015Сентябрь 2015Октябрь 2015Ноябрь 2015Декабрь 2015Январь 2016Февраль 2016Март 2016Апрель 2016Май 2016Июнь 2016Июль 2016Август 2016Сентябрь 2016Октябрь 2016Ноябрь 2016Декабрь 2016Январь 2017
Февраль 2017
Март 2017
Апрель 2017
Май 2017
Июнь 2017
Июль 2017
Август 2017
Сентябрь 2017
Октябрь 2017
Ноябрь 2017
Декабрь 2017
Январь 2018
Февраль 2018
Март 2018
Апрель 2018
Май 2018
Июнь 2018
Июль 2018
Август 2018
Сентябрь 2018
Октябрь 2018
Ноябрь 2018
Декабрь 2018
Январь 2019
Февраль 2019
Март 2019
Апрель 2019
Май 2019
Июнь 2019Июль 2019Август 2019Сентябрь 2019Октябрь 2019Ноябрь 2019Декабрь 2019Январь 2020Февраль 2020Март 2020Апрель 2020Май 2020Июнь 2020Июль 2020Август 2020Сентябрь 2020Октябрь 2020Ноябрь 2020Декабрь 2020Январь 2021Февраль 2021Март 2021Апрель 2021Май 2021Июнь 2021
1234567891011121314151617181920
21
22
23
24
25
26
27
28
29
30
Интернет |

BIG DATA 2021: Инфраструктура для больших данных

BIG DATA 2021: Инфраструктура для больших данных
На организованном издательством «Открытые системы» десятом ежегодном форуме обсуждалась современная инфраструктура поддержки работы с большими данными. В информационную эпоху и государство, и бизнес должны уметь быстро собирать актуальную информацию о своих гражданах и клиентах, оперативно предлагая им актуальные персональные сервисы. Однако, несмотря на декларации о том, что данные превратились в ключевой драйвер цифрового развития бизнеса, существующие аппаратно-программные инфраструктуры построены на унаследованной централизованной архитектуре, часто неспособной в реальном времени решить главную задачу бизнеса — стать клиентоцентричным. Участники форума BIG DATA 2021 имели возможность из первых рук получить информацию о современных архитектурах и решениях обработки больших данных. Алексей Сидоров, директор по управлению данными компании Denodo в странах Европы, Ближнего Востока и Африки (регион EMEA), рассказал о проекте по управлению мастер-данными министерства социального страхования неназванной страны. За два месяца на основе архитектуры Virtual Data Fabric была развернута крупномасштабная система мониторинга сведений о гражданах страны, позволяющая в реальном времени получать актуальную консолидированную информацию из всех министерств. Данные не перемещаются и хранятся в исходном виде в точках их генерации. Это существенно сокращает время на их очистку, консолидацию и визуализацию для предоставления по запросу с целью формирования «на лету» полного актуального портрета гражданина, построенного по его цифровым следам. Такая возможность позволяет исключить ошибки, дублирование или потерю сведений при назначении социальных страховок и различных выплат, а также при оценке покупательной способности граждан и реализации других функций институтов государственной власти. Алексей Коваленя из компании Atos в своем выступлении «Эволюция инфраструктуры для работы с большими данными» рассказал о различных подходах к построению инфраструктуры поддержки обработки больших данных, включающую оборудование, сетевое и системное ПО. Сегодня компания предлагает не только высокопроизводительные серверы, но и, в альянсе с Cloudera, решения Atos Datalake Appliance по управлению данными на основе адаптированных для конкретного заказчика распределенных аппаратно-программных систем. Такие решения включают серверы, сеть, ПО, прикладные сервисы. Среди отмеченных докладчиком преимуществ представленных продуктов — сертификация от Cloudera, единое окно для управления инфраструктурой, готовая к использованию и протестированная конфигурация с гарантированным уровнем производительности. Наличие одного поставщика, отвечающего за решение, позволяет безболезненно выполнять масштабирование, сокращать время на ввод системы в эксплуатацию и использовать различные формы оплаты: аренду, рассрочку или Datalake-as-a-Service. Тему эффективности инфраструктуры продолжил на форуме Александр Кузьмин, главный консультант по технологиям Pure Storage, рассказавший об организации систем хранения для решения задач аналитики реального времени. Доля таких задач к 2025 году составит уже более 30% от общего объема аналитических приложений, и, как следствие, по мнению Кузьмина, сократится потребность в статичных озерах данных. От современных систем хранения требуется поддержка быстрых изменений и быстрого накопления разнородных данных, однако традиционные системы оптимизированы для пакетной обработки, а не для режима реального времени. Для раскрытия потенциала больших объемов консолидированных данных компания предлагает, в частности, платформу хранения Pure Storage Flashblade, обеспечивающую линейное масштабирование, развертывание конфигурации за минуты, упрощенное управление и обеспечение гарантированного времени отклика как при последовательном доступе к большим файлам, так и при произвольном доступе к множеству потоков небольших файлов. Кроме того, в систему изначально заложена поддержка протокола s3 объектного хранения, позволяющего просто и надежно хранить объемные объекты — почти так же, как с помощью файловой системы, но без разбиения их на папки. Проблему обеспечения надежной и безопасной работы с интернет-ресурсами поднял Александр Брыль, инженер по разработке алгоритмов машинного обучения в компании DDOS Guard. Применение машинного обучения при анализе больших массивов данных позволяет с точностью до 85% обеспечить защиту от различных ботов: ботнетов для DDoS-атак, шпионов для сбора данных, зомби-ботов для поиска уязвимостей, ботов — скупщиков билетов, ботов, выполняющих скликивание (мошенническое нажатие кнопок на сайте), и пр. Конфигурационный и поведенческий анализ посетителей сайта позволяет выявить и идентифицировать бота, отделив его от реального человека, просматривающего сайт. Предлагаемые методы позволяют на 80% сжать трафик за счет унификации запросов, защититься от перегрузок сервера, отфильтровать спам, предотвратить взлом аккаунтов и кражи данных банковских карт. Как показал форум, многие российские предприятия уже получают эффект от цифровой трансформации. Например, по словам Александра Мотузова, начальника управления методологии и разработки математических моделей НЛМК, в 2020 году предприятие сэкономило 1 млрд руб. благодаря, в частности, собственной DSMLp-платформе анализа данных и моделирования, ставшей очередным шагом к умному производству. Платформа представляет собой инструмент, позволяющий специалистам по данным передавать знания, полученные из данных, инженерам, создающим производственные системы, но не в виде модели для каждого конкретного применения, а в виде конвейера создания и постоянного обучения модели на новых данных. При этом у системы нет «черных ящиков», а эксплуатация моделей не прекращается при уходе подрядчика, сотрудника или разработчика готового решения с моделью. Такую платформу, по мнению Мотузова, нельзя купить: процессы для каждого предприятия уникальны и генерируют уникальные данные; модели машинного обучения строятся на собственных данных; технологические процессы и сырье для металлургического производства постоянно меняются, что требует смены методов обучения; интерпретация моделей машинного обучения позволяет открывать новые физические свойства процессов и получать новые знания. Тему работы с моделями продолжил Станислав Ляховецкий, директор по управлению портфелем проектов банка ВТБ, сосредоточивший свое выступление на вопросах управления модельным риском — риском потерь в результате ошибочных решений, основанных на результатах работы моделей. Ясно, что игнорирование таких рисков может дорого обойтись как компании, так и государству и его гражданам — например, в результате неверно поставленного медицинского диагноза, основанного на рекомендациях искусственной нейронной сети. Сегодня нет качественного решения корпоративного уровня по оценке модельных рисков: большинство зарубежных систем (AWS, MLflow SAS, Seldon и др.) предназначены лишь для ускорения разработки модели, а не для налаживания конвейера от бизнес-идеи, подготовки данных, валидации и до мониторинга работы модели с учетом всех онтологий. В России, по мнению Ляховецкого, подобные решения имеются у компании Loginom, хотя потребность в таких инструментах давно назрела, в частности, для того, чтобы бизнес сам без программирования строил и проверял модели. Данные и люди Специальный тематический блок был посвящен вопросам подготовки кадров и организации образовательного процесса на основе анализа больших данных. Андрей Комиссаров, директор направления «Развитие человека на основе данных» Университета 20.35, рассказал о цифровизации в области управления кадрами, которая значительно обогатилась инструментами искусственного интеллекта, позволяющими строить модель данных о человеке в развитии. Поиск персонала, контроль рабочего режима сотрудников, анализ предпочтений человека и другие задачи решают сегодня в Университете 20.35 путем анализа множества данных (вакансии, резюме, конференции, различные опросы и пр.). Комиссаров рассказал об опыте автоматизированного построения моделей компетенций и профстандартов по заказу Министерства труда РФ, о комплексном анализе уровня корпоративной культуры и диагностике soft skills с помощью оценки неструктурированных данных, об инструментарии подбора проектных команд для решения разных типов задач на основе онтологий профессиональных областей, построенных с помощью системы PolyAnalyst российской компании «Мегапьютер Интеллидженс». Так, на основе модели о человеке в развитии можно предсказать, сможет ли он дорасти для работы на конкретной вакансии, — иначе говоря, найти еще не сформировавшегося (а значит, дорогого), но потенциально перспективного сотрудника. Другой пример — построение профиля цифровой компетенции для создания карты востребованности конкретных навыков специалистов в различных регионах России. Такая карта позволит, например, убедиться в том, что учебные заведения выпускают нужных рынку специалистов, а студенты с ее помощью смогут наметить наиболее перспективную траекторию своего развития, чтобы больше зарабатывать. На основе анализа и интерпретации цифрового следа сотрудников можно также оценить их вовлеченность в работу, роль в команде, степень участия в общей системе взаимоотношений, а также общую культуру команды. Подобные сервисы сегодня востребованы инвесторами стартапов, чиновниками, стремящимися быть в тренде, HR-подразделениями предприятий и пр. Тему оценки эффективности работы сотрудника на основе анализа его цифрового следа продолжил Иван Исаев, директор направления анализа данных в МТС, уверенный в том, что полученные сведения могут быть использованы для повышения эффективности управления кадрами. Анализ позволит строить прогноз «выгорания» сотрудника, обеспечивать сокращение трудоемкости операций, переводить работников на удаленную работу или частичную занятость вне пиковых периодов, формировать эффективные кросс-функциональные команды и пр. Применяя комплексную методологию BCG BioTag, в компании сегодня анализируют статистику коммуникационных потоков между специалистами и степень использования рабочего времени, а также задействуют информацию еще из пяти различных баз данных и из пула неструктурированных данных (тексты, записи звонков и пр.). Это позволяет построить карту «спроса-предложения». Система учета и анализа цифрового следа дает возможность выполнять мониторинг эффективности труда подразделения и сотрудников; прозрачно ранжировать сотрудников по производительности труда и утилизации их рабочего времени, анализировать их загруженность. Система позволила на 20% сократить время на выполнение 100 элементов бизнес-операций, снизить отток сотрудников и получить общий прирост эффективности подразделений от 5% до 15%. Кроме того, анализ цифрового следа позволил оптимизировать бизнес-процессы: идентифицировать самые автоматизируемые процессы; оценить затраты времени на процесс и текущий уровень его автоматизации; расставить приоритеты в автоматизации или оптимизации процессов. *** Форумы Big Data проводятся с 2012 года, и доклады, представленные на нем в разное время, акцентировались на технологиях, что отражало существовавшие до недавнего момента тенденции и оставляло за кадром контент — главное предназначение ИТ. И только BIG DATA 2021 показал: оборудование, ПО и технологии не являются главным активом цифровой экономики. Главное — это сами данные, для работы с которыми уже непригодны традиционные системы передачи, хранения и обработки с жесткой, заранее запрограммированной логикой. Современные инфраструктуры для работы с большими данными должны давать возможность и коммерческим компаниям, и государственным организациям отвечать на вопросы, о которых они еще не знают.




Russian.city

Читайте также

Интернет |

Этот день в авиации. 19 июня

Блоги |

Тренерский штаб перенес вылет сборной России на игру против Дании

Авто |

?NHTSA расследует 30 аварий Tesla и их связь с автопилотом


Персональные новости

News24.pro и Life24.pro — таблоиды популярных новостей за 24 часа, сформированных по темам с ежеминутным обновлением. Все самостоятельные публикации на наших ресурсах бесплатны для авторов Ньюс24.про и Ньюс-Лайф.ру.




Разместить свою новость локально в любом городе по любой тематике (и даже, на любом языке мира) можно ежесекундно с мгновенной публикацией самостоятельно — здесь.

Новости России

Russian.city

Музыкальные новости
Кристина Орбакайте

«Проклятый COVID»: сын Орбакайте в Москве испытывает проблемы с работой

Персональные новости

Новости тенниса
WTA

Александрова уступила Бенчич и не смогла выйти в полуфинал турнира WTA в Берлине