Проблемы использования технологии больших данных

В современном мире, объем накопленной информации поражает, и с каждым днем он становится только больше. Как следствие уже очень давно назрела проблема анализа обработки и анализа этого огромного количества данных. Ведь для тех же предпринимателей это необходимо, если они хотят своевременно реагировать на изменения рынка или повысить эффективность своего дела. Основой решения этой проблемы и стало то, что мы сейчас называем термином «большие данные» (от англ. «Big Data»).

Нужно отметить, что однозначного толкования  этого определения нет. Однако большинство трактовок сходятся в том, что большие данные – совокупность специальных технологий и принципов обработки больших объемов данных. 

Сегодня использование технологии больших данных обязательно для развития крупных компаний. Ведь не имея возможности анализировать предпочтения пользователей или делать обоснованные прогнозы, они едва ли смогут остаться  конкурентоспособными. В тоже время, используя технологии BigData, у компаний появляется возможность узнать о том, какие товары или услуги в большинстве своем предпочитают их клиенты, насколько эффективными были маркетинговые кампании или какие риски ожидаются в будущем.

Нельзя не заметить, что сфера больших данных – одна из самых быстрорастущих в области IT-технологий. По статистике, примерно, каждые один-два года объем передаваемых данных увеличивается в два раза. Так, например, с 2012 по 2014 год количество данных, ежемесячно передаваемых мобильными сетями, выросло на 81 %. По оценкам Cisco, в 2014 году объем мобильного трафика составил 2,5 эксабайта (10^18 байт) в месяц, а уже в 2019 году он стал равен 24,3 эксабайтам.

Из всего выше сказанного, можно утверждать, что «большие данные» – это уже вполне оформившаяся сфера технологий, которая играет одну из ключевых ролей в развитии компаний и прочно заняла свою нишу во многих сферах бизнеса.

Поговорив о преимуществах «больших данных», нужно вспомнить и о проблемах, связанных с этой системой. Часть из них можно свести к трем группам: объем, скорость обработки, отсутствие. Крупные объемы информации не могут храниться без соблюдения определенных условий. Скорость требует развития методов обработки информации, и улучшения интерактивности. Проблема структурированности исходит из неоднородности источников, форматов и качества информации. Данные нужно привести к определенному виду, чтобы получить возможность их объединить и работать с ними.

Помимо этого есть проблема предела «величины» данных. Очевидно, что ресурсы не бесконечны и по достижению определенного момента хранение абсолютно всех собранных данных перестает быть целесообразным. И, как следствие, во весь рост встает необходимость отказаться от части данных.

Не меньшая проблема – подбор данных для обработки и алгоритм анализа, так как отсутствует понимание, какие данные следует собирать и хранить, а какие можно игнорировать. Отсюда можно сделать вывод о ещё одном недостатке системы — сравнительно небольшое количество профессиональных специалистов, которые могли бы провести  анализ и создать отчеты для решения бизнес-задач и как следствие извлечения прибыли из BigData.

Другая проблема BigData имеет этический характер. А именно: следует ли считать сбор данных (особенно без ведома пользователя) нарушением границ частной жизни? С одной стороны, информация, сохраняемая в поисковых системах Google или Яндекс, позволяет им постоянно повышать качество своих услуг, делать их удобными для пользователей и создавать новые интерактивные программы. Эти сервисы записывают каждый клик в Интернете, им известен наш IP-адрес, местоположение, интересы, онлайн-покупки, личные данные, почтовые сообщения и прочее, что, например, позволяет подбирать контекстную рекламу в соответствии с нашим поведением в Интернете. При этом согласия на это зачастую не спрашивается, а возможности выбора, какие сведения о себе предоставлять, не дается. То система собирает все, что затем будет храниться на серверах данных сайтов. Здесь же встает и другая проблема — обеспечение безопасности хранения и использования данных. Например, сведения о возможных покупателях и их история переходов на сайтах интернет-магазинов безусловно можно использовать для решения множества бизнес-задач. Но безопасна ли аналитическая платформа, в которой пользователи оставляют свои данные, просто зайдя на сайт, — вопрос весьма спорный. Ведь даже самые защищенные серверы правительственных служб уязвимы для современных компьютерных вирусов и хакерских.

В заключение хочется сказать, что система «большие данные» открыла перед нами новые возможности в планировании производства, образовании, здравоохранении и других отраслях. Технологии «BigData»  подняли информацию, как фактор производства, на совершенно новый качественный уровень. Теперь информация стала едва ли не самым важным ресурсом в современной экономике.