Интернет |
«Качество данных 2020»: нет «мусоровороту»!
С накоплением критической массы ошибок, в фокусе общего внимания закономерно оказалась проблема качества данных, избежать столкновения с которой не удается никому.
Важность управления данными сегодня доказывать не надо — интерес к этой сфере давно уже не теоретический, а вполне утилитарный. С накоплением критической массы ошибок, в фокусе общего внимания закономерно оказалась проблема качества данных, избежать столкновения с которой не удалось никому. На конференции «Качество данных 2020», организованной издательством «Открытые системы», около 200 профессионалов в области управления данными собрались, чтобы рассмотреть эту тему со всех сторон, разложив «по полочкам» терминологию, варианты стратегии, удачный проектный опыт и актуальные инструменты.
Больше данных — меньше доверия?
В крупных информационных системах корпоративного уровня число источников данных может достигать нескольких сотен, а количество наборов данных — исчисляться десятками тысяч. «Три кита, на которых покоится «здание» качества данных,— полнота, актуальность и корректность, — напомнил Алексей Незнанов, доцент Департамента анализа данных и искусственного интеллекта НИУ ВШЭ. — И когда мы пытаемся разобраться с ними, то получаем огромное количество характеристик, метрик и стандартов».
Согласно исследованиям DIS Group, в 2019 году 33% крупных российских компаний внедряли Data Governance в надежде не только обеспечить прозрачность данных, удобный доступ к ним и возможность отслеживания взаимосвязей между ними, но и унифицировать терминологию, зафиксировать правила и метрики качества данных.
Средство гигиены для базы данных
В клиентской базе данных сети медицинских лабораторий «Инвитро», содержащей 32 млн записей, 64 тыс. из них меняются ежедневно. Кроме того, большое количество точек входа информации превышает существующие возможности для ее обработки операторами контакт-центра и операторами баз данных. В результате в базе множатся дубликаты, что не только приводит к ошибкам в отчетности и коммуникациях с клиентами, но и влечет риск ошибочной доставки результатов лабораторных исследований. Для поддержки гарантированного качества персональных данных в «Инвитро» использовали решение Loginom Data Quality, содержащее набор компонентов для очистки данных, а также специально модифицированные стратегии дедупликации. Ежедневно на автоматическую очистку попадает около 44 тыс. записей, из которых в среднем 224 отправляются операторам для ручной обработки. Всего за восемь месяцев прошлого года было очищено более 11 млн записей.
Сакраментальное изречение из мира ИТ «мусор на входе — мусор на выходе» в эпоху цифровизации заиграло новыми красками. «Мусороворот» напрямую влияет на исполнение операций в организации, уровень анализа и принимаемых решений, а также на качество публикаций в СМИ об организации. «Дешевле изначально обеспечивать нужное качество данных, чем потом разгребать последствия, которые возникают из-за дефектов данных»,— уверен Валерий Артемьев, консультант управления методологического и организационного обеспечения в департаменте статистики и управления данными Банка России. Из-за проблем такого рода, по некоторым оценкам, теряется до 15% прибыли компаний. Он также обозначил дилемму, названную им «принципом неопределенности Гейзенберга для управления качеством данных»: мы всегда можем получить либо достоверные, но не совсем актуальные данные, либо актуальные, но не очень достоверные.
Опрос, проведенный компанией Informatica в 2017 году, показал что главные проблемы для директоров по данным — непонимание данных и их качества, из чего следует невозможность доверять данным и основываться на них, принимая решения. Олег Гиацинтов, технический директор DIS Group, призвал подходить к управлению данными разумно. «Раньше мы делали много проектов по очистке клиентских или продуктовых данных, приведению их в порядок, — отметил он. — А сейчас активно занимаемся процессами понимания данных. Надо ли их вообще чистить? Бывают ситуации, когда вы не можете что-либо улучшить».
Такая разная зрелость
Уровни зрелости российских компаний в вопросах управления качеством данных сильно разнятся. С одной стороны, есть те, кто уже прошел длинный путь и может служить своего рода маяком для других. Например, в сбытовом блоке «Газпром нефти», где давно переросли уровень бизнес-аналитики и выстроили систему управления данными на платформе Informatica, специальная группа сотрудников сейчас занимается только качеством данных. «Без требований к качеству данных ни одна задача не принимается в работу», — подчеркнул Иван Черницын, руководитель центра аналитических решений Дирекции региональных продаж «Газпром нефти». За полтора года после запуска системы число бизнес-заказчиков дирекции, разрабатывающей аналитические приложения, удвоилось.
С другой стороны, зачастую бизнес по-прежнему несет потери из-за плохих справочников. В одних компаниях нет службы нормативно-справочной информации, в других — единого классификатора, в третьих управление данными ведется в ERP-системах. «Весь пул вопросов, которые мы решали 20 лет назад, остался», — констатировала Алла Токарева, руководитель направления НСИ группы консультирования в области закупок и цепочек поставок компании KPMG.
В то же время крупный бизнес все чаще подходит к решению проблем основательно, начиная со снабжения. На примере проекта в компании «Алроса» Токарева рассказала о роли качественной нормативно-справочной информации для материально-технического обеспечения бизнеса. В результате реализованных KPMG проектов по трансформации МТО фиксируется улучшение оборачиваемости или снижение запасов в среднем на 10-15% за два-три года. И реструктуризация НСИ вносит существенный вклад в этот эффект.
В компании Leroy Merlin проблему качества данных рассматривают в контексте обеспечения безопасности поставок. Совместно с технологическим партнером IDX ретейлер запустил автоматические проверки двух видов: проверка достоверности данных в документах водителей с целью обеспечить безопасность перевозок и проверка данных потенциальных сотрудников новых подразделений, чтобы исключить риски, связанные с их благонадежностью.
Это несравнимое качество
В отличие от корпоративных систем, в государственных информационных системах невозможно проверить качество всего массива данных, можно лишь оценить конкретные наборы данных, получаемые через Систему межведомственного электронного взаимодействия. «Сейчас объективная ситуация с качеством данных по стране неизвестна, нет никакой возможности его оценить и как-то на него повлиять», — отметил Сергей Сергиенко, руководитель направления «Национальная система управления данных (НСУД)» в НИИ «Восход». По его словам, НСУД, создание которой предусмотрено к 2021 году в программе «Цифровая экономика», позволит существенно упростить сопоставление данных в больших массивах.
Сравнивать данные об одних и тех же объектах, которые находятся в разных системах-источниках, — непростая задача. Как это делать с помощью инструментов контроля качества данных на основе технологий онтологического моделирования и правил логического вывода, рассказал Сергей Горшков, директор компании «ТриниДата». Сначала с помощью редактора онтологий создается модель предметной области. Редактор правил ввода-вывода встроен в платформу «Архиграф.СУЗ», где также содержатся инструменты поиска, извлечения объектов и сравнения их свойств. А основу для выполнения необходимых для этого алгоритмов предоставляет платформа «Архиграф.MDM», которая предоставляет программные интерфейсы для работы с данными, извлекаемыми из внешних систем, компонент для выполнения логических правил и универсальный API доступа к данным.
Руслан Трачук, технический директор компании «Юнидата», поделился выводами по итогам проектов создания прикладных высоконагруженных федеральных информационных систем. Один из таких проектов — разработка подсистемы обеспечения качества данных Росреестра. Задачей этой подсистемы является выявление ошибок в Едином государственном реестре недвижимости, который содержит 300 млн записей, проверяемых на соответствие 120 правилам. «Современный нагруженный прикладной проект требует совмещения в одном решении нескольких инструментов управления данными. Одного — недостаточно, — отметил Трачук. — И степень их интеграции существенно влияет на эффект синергии».
Также докладчики ознакомили участников конференции с тем, как заботятся о качестве данных в «Росатоме», МТС и других компаниях, оперирующих большими информационными массивами, а также рассказали о том, как применяют профилирование для управления качеством данных в Счетной палате и как удается использовать технологии искусственного интеллекта в условиях отсутствия качественных данных.
Ступень к аналитике
Без наведения порядка в используемых данных получать столь желанную для топ-менеджеров аналитику невозможно. «Перед тем как приступать к решению аналитической задачи, мы первым делом обязательно проводим аудит данных, начиная с простого профилирования, и оцениваем процессы», — подчеркнул Михаил Александров, руководитель практики платформных решений «SAS Россия/СНГ», представляя разработанные этой компанией инструменты управления качеством данных.
Выстроив систему управления данными, необходимо вовлекать бизнес-сотрудников в ее развитие. «Сегодня важны не озера данных, а четко работающий конвейер данных — процесс, который можно улучшать и дополнять, в том числе самому бизнесу», — полагает Максим Аннюк, отвечающий за развитие направления «Цифровой бизнес» в компании Hitachi Vantara. Он познакомил слушателей с методологией DataOps, помогающей повысить качество и сократить цикл подготовки аналитики, а также поделился опытом применения этой методологии внутри самой Hitachi Vantara.
Иван Черницын:
«Без требований к качеству данных ни одна задача не принимается в работу»
Настольная книга
«Юнидата» презентовала на конференции «Качество данных 2020» руководство «DAMA-DMBOK: Свод знаний по управлению данными», подготовленное к изданию на русском языке при непосредственном участии компании. DMBOK позиционируется в качестве настольной книги для всех сотрудников, деятельность которых имеет отношение к управлению данными. Рекомендовал книгу участникам конференции и Иван Черницын из «Газпром нефти», чей доклад получил у слушателей самые высокие оценки.
Важность управления данными сегодня доказывать не надо — интерес к этой сфере давно уже не теоретический, а вполне утилитарный. С накоплением критической массы ошибок, в фокусе общего внимания закономерно оказалась проблема качества данных, избежать столкновения с которой не удалось никому. На конференции «Качество данных 2020», организованной издательством «Открытые системы», около 200 профессионалов в области управления данными собрались, чтобы рассмотреть эту тему со всех сторон, разложив «по полочкам» терминологию, варианты стратегии, удачный проектный опыт и актуальные инструменты.
Больше данных — меньше доверия?
В крупных информационных системах корпоративного уровня число источников данных может достигать нескольких сотен, а количество наборов данных — исчисляться десятками тысяч. «Три кита, на которых покоится «здание» качества данных,— полнота, актуальность и корректность, — напомнил Алексей Незнанов, доцент Департамента анализа данных и искусственного интеллекта НИУ ВШЭ. — И когда мы пытаемся разобраться с ними, то получаем огромное количество характеристик, метрик и стандартов».
Согласно исследованиям DIS Group, в 2019 году 33% крупных российских компаний внедряли Data Governance в надежде не только обеспечить прозрачность данных, удобный доступ к ним и возможность отслеживания взаимосвязей между ними, но и унифицировать терминологию, зафиксировать правила и метрики качества данных.
Средство гигиены для базы данных
В клиентской базе данных сети медицинских лабораторий «Инвитро», содержащей 32 млн записей, 64 тыс. из них меняются ежедневно. Кроме того, большое количество точек входа информации превышает существующие возможности для ее обработки операторами контакт-центра и операторами баз данных. В результате в базе множатся дубликаты, что не только приводит к ошибкам в отчетности и коммуникациях с клиентами, но и влечет риск ошибочной доставки результатов лабораторных исследований. Для поддержки гарантированного качества персональных данных в «Инвитро» использовали решение Loginom Data Quality, содержащее набор компонентов для очистки данных, а также специально модифицированные стратегии дедупликации. Ежедневно на автоматическую очистку попадает около 44 тыс. записей, из которых в среднем 224 отправляются операторам для ручной обработки. Всего за восемь месяцев прошлого года было очищено более 11 млн записей.
Сакраментальное изречение из мира ИТ «мусор на входе — мусор на выходе» в эпоху цифровизации заиграло новыми красками. «Мусороворот» напрямую влияет на исполнение операций в организации, уровень анализа и принимаемых решений, а также на качество публикаций в СМИ об организации. «Дешевле изначально обеспечивать нужное качество данных, чем потом разгребать последствия, которые возникают из-за дефектов данных»,— уверен Валерий Артемьев, консультант управления методологического и организационного обеспечения в департаменте статистики и управления данными Банка России. Из-за проблем такого рода, по некоторым оценкам, теряется до 15% прибыли компаний. Он также обозначил дилемму, названную им «принципом неопределенности Гейзенберга для управления качеством данных»: мы всегда можем получить либо достоверные, но не совсем актуальные данные, либо актуальные, но не очень достоверные.
Опрос, проведенный компанией Informatica в 2017 году, показал что главные проблемы для директоров по данным — непонимание данных и их качества, из чего следует невозможность доверять данным и основываться на них, принимая решения. Олег Гиацинтов, технический директор DIS Group, призвал подходить к управлению данными разумно. «Раньше мы делали много проектов по очистке клиентских или продуктовых данных, приведению их в порядок, — отметил он. — А сейчас активно занимаемся процессами понимания данных. Надо ли их вообще чистить? Бывают ситуации, когда вы не можете что-либо улучшить».
Такая разная зрелость
Уровни зрелости российских компаний в вопросах управления качеством данных сильно разнятся. С одной стороны, есть те, кто уже прошел длинный путь и может служить своего рода маяком для других. Например, в сбытовом блоке «Газпром нефти», где давно переросли уровень бизнес-аналитики и выстроили систему управления данными на платформе Informatica, специальная группа сотрудников сейчас занимается только качеством данных. «Без требований к качеству данных ни одна задача не принимается в работу», — подчеркнул Иван Черницын, руководитель центра аналитических решений Дирекции региональных продаж «Газпром нефти». За полтора года после запуска системы число бизнес-заказчиков дирекции, разрабатывающей аналитические приложения, удвоилось.
С другой стороны, зачастую бизнес по-прежнему несет потери из-за плохих справочников. В одних компаниях нет службы нормативно-справочной информации, в других — единого классификатора, в третьих управление данными ведется в ERP-системах. «Весь пул вопросов, которые мы решали 20 лет назад, остался», — констатировала Алла Токарева, руководитель направления НСИ группы консультирования в области закупок и цепочек поставок компании KPMG.
В то же время крупный бизнес все чаще подходит к решению проблем основательно, начиная со снабжения. На примере проекта в компании «Алроса» Токарева рассказала о роли качественной нормативно-справочной информации для материально-технического обеспечения бизнеса. В результате реализованных KPMG проектов по трансформации МТО фиксируется улучшение оборачиваемости или снижение запасов в среднем на 10-15% за два-три года. И реструктуризация НСИ вносит существенный вклад в этот эффект.
В компании Leroy Merlin проблему качества данных рассматривают в контексте обеспечения безопасности поставок. Совместно с технологическим партнером IDX ретейлер запустил автоматические проверки двух видов: проверка достоверности данных в документах водителей с целью обеспечить безопасность перевозок и проверка данных потенциальных сотрудников новых подразделений, чтобы исключить риски, связанные с их благонадежностью.
Это несравнимое качество
В отличие от корпоративных систем, в государственных информационных системах невозможно проверить качество всего массива данных, можно лишь оценить конкретные наборы данных, получаемые через Систему межведомственного электронного взаимодействия. «Сейчас объективная ситуация с качеством данных по стране неизвестна, нет никакой возможности его оценить и как-то на него повлиять», — отметил Сергей Сергиенко, руководитель направления «Национальная система управления данных (НСУД)» в НИИ «Восход». По его словам, НСУД, создание которой предусмотрено к 2021 году в программе «Цифровая экономика», позволит существенно упростить сопоставление данных в больших массивах.
Сравнивать данные об одних и тех же объектах, которые находятся в разных системах-источниках, — непростая задача. Как это делать с помощью инструментов контроля качества данных на основе технологий онтологического моделирования и правил логического вывода, рассказал Сергей Горшков, директор компании «ТриниДата». Сначала с помощью редактора онтологий создается модель предметной области. Редактор правил ввода-вывода встроен в платформу «Архиграф.СУЗ», где также содержатся инструменты поиска, извлечения объектов и сравнения их свойств. А основу для выполнения необходимых для этого алгоритмов предоставляет платформа «Архиграф.MDM», которая предоставляет программные интерфейсы для работы с данными, извлекаемыми из внешних систем, компонент для выполнения логических правил и универсальный API доступа к данным.
Руслан Трачук, технический директор компании «Юнидата», поделился выводами по итогам проектов создания прикладных высоконагруженных федеральных информационных систем. Один из таких проектов — разработка подсистемы обеспечения качества данных Росреестра. Задачей этой подсистемы является выявление ошибок в Едином государственном реестре недвижимости, который содержит 300 млн записей, проверяемых на соответствие 120 правилам. «Современный нагруженный прикладной проект требует совмещения в одном решении нескольких инструментов управления данными. Одного — недостаточно, — отметил Трачук. — И степень их интеграции существенно влияет на эффект синергии».
Также докладчики ознакомили участников конференции с тем, как заботятся о качестве данных в «Росатоме», МТС и других компаниях, оперирующих большими информационными массивами, а также рассказали о том, как применяют профилирование для управления качеством данных в Счетной палате и как удается использовать технологии искусственного интеллекта в условиях отсутствия качественных данных.
Ступень к аналитике
Без наведения порядка в используемых данных получать столь желанную для топ-менеджеров аналитику невозможно. «Перед тем как приступать к решению аналитической задачи, мы первым делом обязательно проводим аудит данных, начиная с простого профилирования, и оцениваем процессы», — подчеркнул Михаил Александров, руководитель практики платформных решений «SAS Россия/СНГ», представляя разработанные этой компанией инструменты управления качеством данных.
Выстроив систему управления данными, необходимо вовлекать бизнес-сотрудников в ее развитие. «Сегодня важны не озера данных, а четко работающий конвейер данных — процесс, который можно улучшать и дополнять, в том числе самому бизнесу», — полагает Максим Аннюк, отвечающий за развитие направления «Цифровой бизнес» в компании Hitachi Vantara. Он познакомил слушателей с методологией DataOps, помогающей повысить качество и сократить цикл подготовки аналитики, а также поделился опытом применения этой методологии внутри самой Hitachi Vantara.
Иван Черницын:
«Без требований к качеству данных ни одна задача не принимается в работу»
Настольная книга
«Юнидата» презентовала на конференции «Качество данных 2020» руководство «DAMA-DMBOK: Свод знаний по управлению данными», подготовленное к изданию на русском языке при непосредственном участии компании. DMBOK позиционируется в качестве настольной книги для всех сотрудников, деятельность которых имеет отношение к управлению данными. Рекомендовал книгу участникам конференции и Иван Черницын из «Газпром нефти», чей доклад получил у слушателей самые высокие оценки.