Человечество прекрасно освоило науку сбора и хранения информации в цифровом виде. Однако по-настоящему мы только учимся правильно распоряжаться накопленными массивами. Какую реальную пользу могут принести бизнесу инструменты работы с «большими данными»?
Термин «большие данные» (Big Data) появился вначале как констатация факта: мир столкнулся со взрывным ростом объемов информации. Потом он стал формулой идентификации проблемы — ведь от накопленных массивов данных, лежащих под спудом, мало пользы. А вскоре термин стали использовать для обозначения класса технологий, позволяющих эффективно работать с огромными объемами структурированной и неструктурированной информации — анализировать, сопоставлять, прогнозировать, моделировать.
«Цифровой потоп» сегодня можно наблюдать и на уровне отдельных компаний. В «сыром» виде имеющиеся данные имеют мало ценности и не служат оптимизации бизнеса. Технологии Big Data как раз и призваны превратить их в ценный бизнес-актив, с помощью которого можно зарабатывать деньги. Что примечательно, среди этих технологий есть и такие, которые доступны не только крупному, но также малому и среднему бизнесу (МСБ).
«Сделайте нам бигдату»
По прогнозу IDC, сегмент решений Big Data во всем мире будет расти примерно в шесть раз быстрее, чем ИТ-рынок в целом, и к 2018 году достигнет объема в $41,5 млрд. Россия, по мнению большинства отраслевых экспертов, находится в самом начале пути. «Наш рынок количественно оценить сложно, поскольку лишь немногие компании готовы сейчас открыто заявлять об успешных проектах Big Data, объемах инвестиций и полученном эффекте, — говорит вице-президент ЛАНИТ и председатель совета директоров компании CleverDATA Денис Реймер. — Обычно российский рынок по зрелым направлениям ИТ-бизнеса составляет 1–3% от мирового. В случае же с «большими данными» отечественные компании вряд ли удерживают хотя бы один процент. А мировой их объем в прошлом году, по оценкам Wikibon research, составил $27 млрд». Потребителей таких решений в России пока мало, предложение явно опережает спрос, констатирует Ольга Горчинская, директор по исследовательским проектам и руководитель направления Big Data компании «ФОРС». «Большинство потенциальных заказчиков скорее испытывают интерес, чем осознают пользу этих технологий, — отмечает она. — Одна из основных причин — недостаточная зрелость отечественного бизнеса по уровню проникновения ИТ. Далеко не во всех компаниях в полной мере реализован потенциал и более простых средств классического бизнес-анализа». «Пока в России виден взрывной рост технологии, но не реальных проектов», — описывает ситуацию архитектор Big Data-решений компании AT Consulting Алексей Беднов. По мнению руководителя департамента маркетинга компании «РДТЕХ» Владимира Сизых, маркетинговая шумиха вокруг «больших данных» сходит на нет, поскольку такие решения постепенно превращаются в магистральное направление. «У рынка сформировалось первичное понимание, что это такое, — отмечает эксперт. — Состоялись первые сделки на поставку таких решений в Россию, началось массовое тестирование в ИТ-департаментах крупных предприятий, уже появились тендеры на разработку концепций по внедрению Big Data в публичных компаниях».
При этом запросы, поступающие сейчас от потенциальных клиентов, радуют игроков ИТ-индустрии вменяемостью формулировок. Основатель и генеральный директор DCA Константин Круглов рассказывает: «На заре рынка обобщенный запрос от бизнеса звучал так: «Сделайте нам бигдату!» Все были наслышаны об иностранных кейсах, тема стала трендом, но никто не знал, чего ждать, как это работает, а главное — зачем. Сегодня заказчики формулируют все очень конкретно. Например: нам нужно увеличить на 30% отдачу по контакту с клиентом в рамках вторичных продаж за счет сегментации пользовательской базы при обогащении профилей клиентов внешними поведенческими характеристиками».
О повышении осведомленности российского рынка говорят и результаты опроса, проведенного Oracle и СNews Analytics среди 108 крупных предприятий из разных отраслей. Как сообщает руководитель группы перспективных технологий предпроектного консалтинга компании «Oracle СНГ» Андрей Пивоваров, 20% опрошенных компаний уже используют такие решения, еще 17% — начинают экспериментировать с ними. «Рост интереса к Big Data появляется в связи со стремлением развивать бизнес и осваивать новые ниши», — считает специалист по индустриальным решениям клиентского центра IBM в России и СНГ Гаяне Арутюнян. При этом эксперт отмечает, что технологии Big Data не являются заведомым конкурентным преимуществом. Это направление нужно рассматривать скорее как технологию сбора и подготовки данных для дальнейшего анализа, то есть внедрение Big Data является не самоцелью заказчика, а промежуточным звеном в рамках реализации аналитических задач, которая будет способствовать росту его бизнеса.
Когда данные стали большими
Сколько нужно данных, чтобы их можно было назвать «большими»? При каком накопленном объеме компании пора начинать интересоваться соответствующими ИТ-решениями? «Абсолютную величину назвать нельзя, — говорит директор по развитию онлайн-сервисов компании «Сервионика» (ГК «Ай-Теко») Александр Куренков. — Пора — когда возникают проблемы с полнотой информации, возможностью извлекать и использовать данные из разных источников, замедляется скорость обработки. Ключевые характеристики «больших данных» — это «три V»: volume (объем), variety (разнообразие), velocity (быстрота)». «Граница между «большими» и «не очень большими» данными весьма расплывчата, — соглашается генеральный директор компании «АйТи» Олег Бакиев. — Она определяется скоростью решения прикладных аналитических задач. Чем медленнее решаются такие задачи по мере роста объема информации, тем больше нужно задумываться о переходе на платформу Big Data». Критерий вообще не может быть количественным, полагает менеджер по развитию бизнеса СХД компании Fujitsu Александр Яковлев. Если использование механизмов Big Data позволяет существенно увеличить обороты и прибыльность бизнеса в высококонкурентных сегментах, то накопленные компанией данные вполне можно считать «большими».
По словам руководителя направления HP Vertica в России Евгения Степанова, для каждой компании граница «больших данных» своя. Это некий технологический барьер, обозначающий, что за ним становится неэффективным использование традиционных СУБД. Когда высока доля ручного труда, невозможно реализовать режим реального времени, низка точность поиска, в данных нет согласованности. Неэффективность проявляется и в том, что аналитические запросы исполняются часами, а иногда и сутками, поскольку массив информации слишком велик для обработки имеющимися средствами. По опыту компаний, такая граница начинается от десятков или сотен терабайт. В любом случае при работе с Big Data представитель HP наблюдает прямую закономерность: чем больше объемы, доступные для обработки, тем точнее и ценнее результат. При этом в массив данных, обрабатываемых компанией, может включаться информация из внутренних систем, внешняя аналитика, данные от клиентов и партнеров. Как видим, информация эта может быть весьма разнообразной и накапливаться с очень большой скоростью. Современная компания должна одновременно управлять потоками как структурированных данных (электронные таблицы, корпоративные БД и пр.), так и неструктурированных (видео, аудио, комментарии в соцсетях и СМИ и т. д.), составляющих, кстати, 85% от всего объема генерируемой информации. Для учета, эффективной и оперативной обработки подобных неструктурированных мультимедийных данных, поступающих из разнородных источников, компания HP, к примеру, вывела на рынок инновационный продукт — HP Idol, представляющий собой набор веб-сервисов для работы в реальном времени с любыми видами «человеческой» информации, включая аудио-, видео-, фото- и текстовую из новостных лент и социальных сетей. Он поддерживает множество уникальных функций, в том числе контекстный поиск в полученных сведениях, анализ настроения и распознавание лиц.
«Одна из новых задач, возникающих сейчас в связи с «большими данными», — это анализ информации из социальных сетей, — говорит Ольга Горчинская (ФОРС). — Реальную пользу бизнес может получить, внедрив решение по управлению репутацией бренда, извлечению новой полезной информации о своих клиентах — пользователях соцсетей. С его помощью можно оперативно создавать наиболее востребованные предложения, более точно формировать целевую аудиторию, повысить эффективность взаимодействия с существующими клиентами и привлекать новых. Создаются принципиально новые возможности для более корректного сегментирования клиентской базы, повышения уровня лояльности клиентов за счет максимально точного соответствия их потребительским ожиданиям. И дополнительный бонус — ощутимая экономия на операционных расходах за счет отказа от массовых спам-рассылок».
К слову, выигрывают от решений Big Data и сами соцсети. Так, например, компания Facebook для хранения и анализа огромных массивов данных, которые ежесекундно создают сами пользователи, использует другой продукт HP — Vertica. До его внедрения аналитики соцсети могли изучать данные всего за 30 дней. С Vertica — за год, а значит можно получить гораздо больше отзывов об эффективности рекламных кампаний, спрогнозировать поведение пользователей и дать более точные рекомендации по настройке маркетинговых кампаний.
Благодаря технологиям Big Data аналитики компании могут получить в свои руки более точный и удобный инструмент. «У них появляется возможность менять и тестировать аналитические модели, проверять различные сценарии и настройки, выбирая оптимальные комбинации, — говорит руководитель направления платформенных решений «SAS Россия/СНГ» Алексей Мещеряков. — Как результат — задачи бизнеса решаются эффективнее». Клиентоориентированность тоже можно поднять до невиданных ранее высот.
«Представьте, что вы смогли «прикрепить» к каждому клиенту аналитика, который информирует вас о возникающих проблемах и предлагает решения, отталкиваясь от похожего опыта других потребителей, — говорит директор по технической стратегии B2B-Center Дженнифер Трелевич. — Эффект от использования инструментов обработки «больших данных» будет похожим». С Big Data у бизнеса впервые появляется возможность анализировать не выборки, а генеральную совокупность клиентов, узнавать об изменениях клиентского поведения не постфактум, а сразу — и оперативно реагировать, уверен гендиректор компании VESOLV Илья Вигер. Компании, научившиеся анализировать большие массивы данных, могут реализовать идею «маркетинга в режиме реального времени».
«В идеале решения Big Data могут повысить вероятность любой конверсии путем улучшения пользовательских качеств продукта для отдельно взятого человека, — уверяет генеральный директор российского офиса GetIntent Дмитрий Голдов. — Например, «большие данные» могут помочь маркетологу, готовящему акцию, составить предложение для различных сегментов клиентов и провести ее с максимальным эффектом». Так, анализ поведения клиента в сети (какие сайты посещает, какую информацию ищет) позволяет выявлять его интересы и предлагать ему персональную рекламу. «Это не только экономит рекламный бюджет, но и повышает лояльность клиента: он получает только такую информацию, в которой сам заинтересован», — говорит Антон Бездворный, руководитель дирекции развития интернет-технологий Уральского банка реконструкции и развития (банк применяет подобную технологию уже больше года).
Руководитель отдела данных компании Auditorius Антон Бут вспоминает еще об одном распространенном направлении использования аналитики Big Data — предсказании оттока клиентов. «Большие данные» по особенностям потребительского поведения и на основе статистики могут довольно точно указать, кто из клиентов компании в скором времени перестанет пользоваться ее услугами. Значит, можно вовремя принять меры по удержанию. А при наличии у компании доступа к эксклюзивным данным решения в области Big Data позволяют создать новое прибыльное направление бизнеса. «Мой самый любимый пример такого развития — это английская компания Dunnhumby, изначально создававшаяся для аналитической поддержки программы лояльности сети английских супермаркетов Tesco, — рассказывает Антон Бут. — Сегодня Dunnhumby — отдельный международный бизнес с миллиардными оборотами».
Знай наших!
Где технологии Big Data применимы в первую очередь? Везде, где нужна бизнес-аналитика в традиционном понимании, считает Евгений Степанов из HP. Телекоммуникации и финансовый сектор — в числе первых кандидатов. Здесь всегда можно взять исторические данные о клиенте, дополнить их сведениями о его поведении на различных площадках взаимодействия с компанией (звонки в колл-центр, использование мобильного приложения и т. д.) и, наконец, обогатить эти данные внешними — информацией из профиля и ленты в соцсетях, историей посещений веб-сайтов, сведениями от других организаций-партнеров. По словам Дениса Реймера (CleverDATA), получив таким образом максимально полную информацию и задействовав алгоритмы машинного обучения, можно более четко сегментировать базу клиентов, предсказывать их поведение, реакцию на предложение новой услуги. Замначальника департамента развития и сопровождения программного обеспечения Пробизнесбанка (ФГ «Лайф») Андрей Абрамов добавляет: посредством обработки информационных потоков на основе профиля поведения клиентов компании из финансового сектора могут снизить потери — например, от мошенничеств с банковскими картами. «Если профиль поведения неожиданно и резко поменялся, это повод обратить на клиента особое внимание, — поясняет Абрамов. — Например, когда по его карте неожиданно начинают тратиться нетипичные для него суммы, с нетипичной частотой и географией совершения операций».
Кроме того, большое будущее у таких инструментов, по словам Евгения Степанова (HP), и в ритейле — там, где аккумулируются огромные объемы информации, а компании заинтересованы в качественной, гибкой, глубокой аналитике и выявлении различных закономерностей поведения покупателей.
«Благодаря проектам Big Data увеличивается скорость принятия решений — а следовательно, налицо экономия времени, нервов и средств, — подчеркивает инвестиционный аналитик компании Prostor Capital Сергей Акашкин. — В ритейле можно спрогнозировать продаваемый объем товаров, оптимизировать акции и цены, оптимизировать складские запасы…»
Есть много и других интересных и даже неожиданных вариантов использования Big Data. Например, в медицине анализ «больших данных», по словам главы представительства VMware в России и странах СНГ Александра Василенко, позволяет выводить на новый уровень диагностику заболеваний и находить новые методы лечения пациентов на основе их полной истории болезни и всех обращений к врачам. Уже сейчас есть примеры экспертных систем, которые диагностируют некоторые виды рака лучше докторов.
«Если еще пять лет назад у нашей компании в России было 1,7 млн пациентов в год, то сегодня эта цифра приближается к 6 млн, — рассказывает директор департамента информационных технологий лаборатории «ИНВИТРО» Павел Литвинов. — Оперируя таким огромным объемом информации, мы можем проводить анализ в разных разрезах. Например, по возрасту, полу, географическому признаку (регион, город, район), видам лабораторного исследования, результатам медицинских анализов и другим параметрам. Полученные обезличенные данные мы используем для оценки состояния здоровья населения в различных регионах страны, оказываем содействие врачам и представителям фармкомпаний в их научной деятельности, проводим анализ для компаний, занимающихся поставкой медицинского оборудования».
Эксперт пресс-службы Intel Михаил Рыбаков приводит еще один пример. По заказу Росавтодора компания YDF разработала систему прогнозирования ДТП на определенных участках дорог Москвы и области. Благодаря этому можно определить оптимальную точку для дежурства инспекторов ГИБДД, что сократит срок их прибытия к месту аварии.
Есть, по словам эксперта, и не столь очевидные выгоды. С помощью Big Data можно находить неявные закономерности, например, в метеорологии. 5–7 лет назад с возрастанием мощности вычислительных систем появилась возможность учитывать поведение заряженных микрочастиц влаги в разреженных слоях атмосферы, что позволяет предсказывать рождение ураганов над Атлантическим побережьем США.
Свое применение у Big Data и в спорте. Так, по словам Александра Василенко (Vmware), в 2014 году футболисты сборной Германии использовали для подготовки к чемпионату мира специальное приложение, которое анализировало поведение каждого игрока немецкой команды и их соперников во время игры. Полученные данные позволили сборной изучить тактику противников и сделать свою подготовку к матчам максимально эффективной.
А вот где решения Big Data внедряются слабо, но могут быть очень полезными — так это в госсекторе, поскольку именно там собрано гигантское количество разнообразных данных, математически обоснованный взгляд на которые может значительно повысить эффективность деятельности госучреждений. Руководитель департамента ИТ-аутсорсинга и проектов ALP Group Дмитрий Бессольцев уверен, что особенно в сфере ЖКХ не помешало бы создание единой информационно-аналитической системы, которая позволит собирать данные, связанные с потреблением россиянами коммунальных услуг, анализировать их состав и автоматически рассчитывать тарифы на воду, электричество, газ и отопление — в зависимости от категорий граждан, изменения объема услуг, метража квартир, домов и так далее.
Большие для малого
Насколько по карману решения класса Big Data компаниям из числа малого и среднего бизнеса? Заказывать под себя и развертывать на собственной инфраструктуре — довольно накладно. Но ведь есть готовые решения, которыми можно пользоваться по модели SaaS («программное обеспечение как услуга»). «Появилось уже немало доступных небольшим компаниям облачных решений, которые могут помочь обрабатывать данные, — говорит руководитель направления eCommerce, Loyalty & Mobility ГК «КОРУС Консалтинг» Вячеслав Коган. — Только такие компании сами должны быть готовы предоставлять свои данные в облако для обработки — а значит, позаботиться об их деперсонализации. А получив ответ, суметь его интерпретировать и применить в жизни». Как уточняет Алексей Беднов из AT Consulting, принцип работы довольно прост: заказчик загружает данные в облако и сообщает, какие показатели желает получить. Всем остальным занимается сервис анализа: каким образом преобразовать и отфильтровать информацию, какие алгоритмы применить. Пользователь сервиса платит деньги только за результат. Для малого бизнеса это наиболее выигрышный вариант.
По словам Сергея Акашкина (Prostor Capital), полноценные проекты Big Data, конечно, могут требовать серьезных финансовых вливаний, мощной ИТ-инфраструктуры и дорогих специалистов. При этом эксперт уверен, что внедрение облачных технологий постепенно будет снижать порог массовой доступности такого рода решений.
Евгений Степанов из HP говорит о том, что стоимость входа на рынок «больших данных» уже сейчас близка к нулю. Создать продукт на основе обработки Big Data и пользоваться им сегодня можно даже бесплатно. К примеру, у HP есть версия Community Edition продукта Vertica с полным набором необходимых функций, позволяющая развернуть кластер из трех серверов и загрузить в хранилище до терабайта данных. Предложение пользуется популярностью. Ежедневно Евгений Степанов получает десятки оповещений о том, что кто-то в России скачал HP Vertica Community Edition. Компании, которые переросли «пробную» версию, переходят на платную — Enterprise Edition. Стоит отметить, что сама по себе аналитическая платформа HP Vertica занимает уникальное место в ряду аналогичных продуктов. Во-первых, решение никак не привязано к аппаратной платформе и может быть развернуто на серверах стандартной архитектуры любого производителя. Во-вторых, архитектура системы близка к идеальной и практически не содержит узких мест, являющихся существенными ограничениями в процессе внедрения и дальнейшего использования.
«Сегодня технологии Big Data достигли такого развития, что внедрение их под силу не только ведущим игрокам отрасли, но и более мелким компаниям, которые технологически продвинуты, — резюмирует Олег Бакиев из «АйТи». — Ведь целесообразность внедрения платформы Big Data обосновывается теми аналитическими задачами, которые решаются или будут решаться в интересах бизнеса». Например, если компания ставит перед собой задачи класса advanced analytics, то ряд из них может быть решен с помощью традиционных средств и методов. Но по мере роста числа задач без полноценных решений Big Data точно будет уже не обойтись.
Евгений Степанов, руководитель направления HP VERTICA в России
Аналитическую платформу Vertica компания HP внедряет с 2006 года. На сегодня ее преимущества оценили свыше трех тысяч заказчиков по всему миру. В России этот инструмент стал доступен чуть больше года назад, но при этом уже насчитывает десяток успешно реализованных проектов. Спрос на Vertica наблюдается в основном у компаний, бизнес которых зависит от высоких технологий, в первую очередь от интернета.
Например, один из наших заказчиков — digital-компания, можно сказать, из числа МСБ. На ее сайте ежедневно размещается более двух миллионов сообщений от пользователей, которые ей нужно отфильтровывать, отслеживать на предмет корректности и соответствия законодательным нормам. Поток сообщений возрастает с такой скоростью, что без нашего инструмента компании пришлось бы увеличить штат модераторов в три раза — с сотни до трехсот человек.
Другой наш клиент — крупнейший российский телеком-оператор оценил «умение» Vertica работать с частично сжатыми данными. До внедрения продукта он мог хранить необработанные данные только 45 дней без ущерба для общей производительности, теперь же у него больше нет ограничений по длительности хранения информации. По сравнению с другими решениями Vertica обеспечивает в четыре раза большее сжатие данных, что в перспективе позволяет компании обеспечить существенную экономию дискового пространства.
Еще одно очевидное преимущество нашей платформы — в скорости получения управленческой отчетности. Аналитическую обработку больших массивов данных Vertica делает в 50-1000 раз быстрее, чем традиционные решения для хранения данных. К примеру, раньше данные еще одного нашего заказчика — федеральной торговой сети собирались в сводный отчет в течение четырех часов раз в сутки, а с переходом на Vertica стало возможно получать сводки в любой момент за пять минут по всем магазинам России. Это позволяет принимать управленческие решения именно в тот момент, когда они необходимы.
Александр Куренков, ДИРЕКТОР ПО РАЗВИТИЮ ОНЛАЙН-СЕРВИСОВ КОМПАНИИ «СЕРВИОНИКА» (ГК «АЙ-ТЕКО»)
Аналитика «больших данных» позволяет компаниям как проводить более тонкий и многофакторный анализ достигнутых результатов, так и более точно планировать и прогнозировать. Для этого «большие данные» должны быть доступны неńтолько в любом необходимом для анализа объеме, но и в режиме реального времени. Тогда руководство торговой сети, например, сможет оперативно выявлять падение спроса на популярный продукт или объективно оценивать уровень лояльности своих клиентов. При эксплуатации телекоммуникационных, электрических или трубопроводных сетей анализ различных данных — состояния оборудования, окружающей среды, объемов потребления — помогает вовремя выявлять потенциально аварийные зоны, проводить проактивные профилактические работы на оборудовании.
Андрей Пивоваров, руководитель группы перспективных технологий предпроектного консалтинга компании «ORACLE СНГ»
В Big Data первостепенное значение имеет конечный результат, а не сами технологии. Такие решения позволяют извлекать пользу из данных, которые казались «мусором». При этом их не обязательно должно быть много. Важнее то, что в них может скрываться ценная информация, которую невозможно извлечь классическими методами. Если вы обнаружили неочевидную ранее пользу от данных, вы решили задачу класса Big Data. И не важно, какие при этом применялись технологии. Полученная выгода здесь важнее всего.
Олег Бакиев, генеральный директор компании «АЙТИ»
Увеличение объемов данных затрагивает все новые и новые сферы нашей жизни, и с каждым днем накапливаемые объемы растут. Развитие систем хранения, обработки и анализа «больших данных» продолжается уже значительное время, однако множество проблем удалось решить относительно недавно. Например, хорошо известно, как хранить и обрабатывать структурированную информацию, но что делать, когда к ней добавляются полуструктурированные или вообще не структурированные данные? Решение задач эффективного анализа разнообразной информации как раз и является главной задачей платформы Big Data.
Начать дискуссию