Big Data. Как приручить большие данные

В эпоху высоких технологий количество информации в цифровом пространстве неуклонно растет. Что делать с большими объемами накопленных данных? Как их обрабатывать? Эксперты во всем мире предлагают свои решения.

С каждым днем найти и идентифицировать нужную информацию в информационном потоке становится сложней. Необходимость анализировать терабайты цифровой информации привела к развитию нового направления в отрасли ИКТ, условно названному Big Data, или Большие данные. Термин прижился – тема регулирования Big Data обсуждается чуть ли не на каждом мало-мальски значимом ИТ-форуме. Эксперты во всем мире предлагают каждый свое решение, однако готового ответа нет пока ни у кого.

В конце мая в Баку прошла конференция Big Data Day Baku 2016. Участники форума обсудили технологии хранения и обработки информации и рассказали, как анализировать большие данные. Само по себе новое направление эксперты понимают по-разному, однако все сходятся в одном: Big Data характеризуют три основных признака, так называемые «три V» — volume-velocity-variety (объем-скорость-разнообразие). Глава азербайджанского Центра инноваций и предпринимательства «Барама», руководитель департамента развития стратегии мобильного оператора Azercell Имран Багиров говорит, что большие данные касаются всех сфер нашей жизни и используются в самых разных отраслях – в государственном управлении, бизнесе, здравоохранении и других. По его мнению, с проблемой сохранения Big Data сталкивается каждый человек:

«Информации всегда было много, но никто не ожидал, что ее может быть настолько много. К примеру, в личном телефоне или компьютере хранится много информации о человеке. Если ее экстрагировать, извлечь можно многое узнать о человеке. Сегодня анализируется только 1% из всей получаемой информации – представьте, каков ее общий объем».

Проблема с регулированием Big Data стоит и перед большими организациями, и перед маленькими. Чтобы справиться с ней, компаниям надо искать новые подходы. По словам представителя IBM в Восточной Европе и Азии Павла Шклюдова, проблема в том, что компании пытаются решить проблему Big Data устаревшими методами, не справляющимися с новыми вызовами:

«Большие данные – как снежный ком, который летит с горы, постоянно увеличиваясь. Люди пытаются остановить его, используя  стандартные средства для анализа и традиционные хранилища, но это не помогает».

«В 90% компаниях Data-аналитика находится не на должном уровне. У них в ходу обычный репортинг – когда пишутся отчеты, которые затем презентуется менеджеру. А, к примеру, descriptive analytics или predictive analytics – абсолютная инновация для компаний. Они пока неохотно пользуются этим», — говорит Багиров.Когда классические методы обработки и анализа информации оказываются бессильными, необходимо осваивать новые технологии и искать новые подходы, говорит Имран Багиров. По его словам, крупные инновационные компании давно взяли data-аналитику на вооружение, однако еще немало тех, кто обрабатывает информацию по старинке. Представитель Azercell говорит, что проблема еще и в менеджменте, который не всегда понимает, зачем вообще нужно менять старый уклад. Эксперт отмечает, что сегодня мало азербайджанских компаний анализируют большие данные.

Между тем, правильный анализ Big Data помогает компаниям улучшить работу с клиентами, отмечает он, так как, предугадав желание клиента, можно больше заработать:

«Главная цель любого бизнеса – предложить правильному абоненту правильный продукт. Для компании, предоставляющей услуги сотовой связи, это особенно важно. Вы предлагаете ту или иную услугу 10 абонентам, 9 из которых ее покупают. Раньше бомбардировали абонентов миллионами сообщений – это вызывало только раздражение клиентов. Да и сейчас так поступают многие компании. Мы в Azercell широко используем Big Data – ежемесячно проводим порядка 200 сегментных компаний».

Всегда актуальный вопрос безопасного хранения информации в разрезе Big Data стал актуальней вдвойне. Багиров уверяет, что, несмотря на опасения, вероятность потери данных невысока, так как проблеме уделяется пристальное внимание. «Этот процесс строго контролируется – во всяком случае у нас, в Azercell вопрос безопасности данных стоит на высоком уровне. В мировой практике было несколько случаев, когда компании теряли данные о своих клиентах. Это, конечно, влияет на репутацию. Чтобы избежать потери данных при анализе скрывается персональная идентификация – в случае утечки нельзя будет определить, о ком идет речь. Более того, используются такие технологии, когда лицо, ответственное за анализ информации, просто не видит персональных данных».В то же время, сами по себе новые технологии бесполезны, если ими управляют непрофессионалы, подчеркивает Багиров. Он сетует на нехватку квалифицированных кадров: «Можно купить технологии, но без людей, которые могут правильно ими пользоваться, это ничего не даст».

Элементарно, Watson

Эксперты говорят, что в эру больших данных, которые множатся день от дня, без помощи искусственного интеллекта не обойтись. На форуме в Баку были представлены технологии, способные помочь в анализе Big Data.

«Решение лежит в симбиозе человека и машины. Человек может что-то создавать, а оперировать информацией должна машина. Чтоб человек смог справиться с таким огромным цифровым потоком, нужна помощь искусственного интеллекта», — уверен Павел Шклюдов из IBM.

Он говорит, что как основа искусственного интеллекта Big Data подходят как нельзя лучше. Шклюдов рассказал о программе Watson – в этот интерпретатор IBM за последние 10 лет вложила $4 млрд. По словам эксперта, ее отличие от других  подобных программ в том, что Watson cпособен зеркалировать когнитивные  функции человека. Павел Шклюдов объяснил, как это работает:

«Что происходит в мозгу человека, когда ему задают вопрос? За доли секунды он определяет сферу, пытается вспомнить, что из нее знает, и из всех выплывающих ответов подбирает наиболее подходящую версию. Когда его об этом спрашивают во второй раз, он уже точно знает ответ – то есть, человек учится. По такому же принципу работает Watson – мы задали программе способность учиться. Это и есть зеркалирование человеческих функций. Там, где человеку нужно отдохнуть, Watson работает и поглощает неограниченную по объему и составу новую информацию. Если вероятность правильного ответа менее 80%, Watson требует загрузки дополнительной информации».

«Watson использует даже японская компания по производству детских игрушек. Производители говорят, что программа способствуют раннему развитию ребенка», — рассказывает Шклюдов.Разработчики выпускают Watson разной модификации – от сложной, которая решает специализированные задачи, до легкой, предназначенной для использования в быту. По словам Шклюдова, Watson может пригодиться в самых разных сферах. Сегодня его используют фармацевтические компании, правоохранительные органы, банковский сектор и гостиничный бизнес. Эксперт привел примеры, как программа работает в Японии. Там Watson – виртуальный помощник, представляющий собой робота, который может понимать речь, продуцировать ее и отвечать на вопросы. Такого робота используют, например, в сети гостиниц Hilton, где он помогает решать вопросы, связанные с обслуживанием гостей, и в японском Softbank, где машина работает с банковскими продуктами и сервисами.

Такой интерпретатор успешно справляется с самыми разными задачами, продолжает представитель IBM. К примеру, Watson хорошо зарекомендовал себя в решении медицинских задач. Шклюдов рассказал, что по данным крупнейшей американской онкологической организации Memorial Sloan Kettering Hospital врачу-онкологу, занимающемуся химиотерапией, требуется 160 рабочих часов еженедельно, чтобы изучить информацию, поступающую от пациентов. При 40 рабочих часов в неделю он физически не в состоянии освоить такой объем данных.

Watson может пригодиться даже на кухне – для любителей готовить разработчики предусмотрели модификацию Chief-Watson, которая, по словам создателей, подарит кулинарам немало приятных открытий. Способность машины абстрагироваться и «мыслить» в других категориях дает хоть и неожиданные, но не лишенные оригинальности идеи.«Цена ошибки в этой ситуации велика. Для решения проблемы в Watson было загружено более миллиона статей, протоколов лечения, медицинских карт, историй болезни и методов лечения. Вся эта информация собиралась около двух лет. Теперь врач загружает в Watson диагноз  пациента, а также около 100 лабораторных параметров, после чего искусственный интеллект выдает рекомендации. Учитывая выданные машиной решения и индивидуальные данные пациента, доктор подбирает оптимальный курс лечения», — объясняет Шклюдов.

«С Chief-Watson можно играть, экспериментировать. Искусственный интеллект иногда выдает решения, которые на первый взгляд кажутся странными и даже неприемлемыми, однако на деле оказывается, что предложенные роботом варианты заслуживают внимания. Как-то в Москве на конференции «Открытые инновации» мы устроили небольшое кулинарное шоу с участием успешных шеф-поваров. Вместе с искусственным интеллектом они придумывали новые рецепты. К примеру, машина предложила рецепт тирамису с водкой и бородинским хлебом. Обычному человеку такое в голову не придет, но с точки зрения синергии вкуса это было качественно и интересно», — вспоминает Шклюдов.

Теймур Максутов

Яна Исраэлян

Источник: https://digital.report/big-data-kak-priruchit-bolshie-dannyie/