Терабайты - «нефть» будущего. Метод анализа больших данных меняет социальную реальность

Версия для печати

Пространство для применения метода анализа больших данных безгранично: мир на самом деле пока лишь стоит у его истоков. Четвертая промышленная революция только набирает силу, объединяя мир в единую социально-экономическую систему.

Представьте, что вы министр здравоохранения, который желает детально исследовать загруженность и эффективность больниц. Или владелец огромной сети магазинов бытовой техники, который хочет знать больше о спросе на различные виды товаров в стране. Или вы в команде стартапа, который пытается оценить реакцию потенциальных покупателей на продукт, который выпускает. Раньше пришлось бы полагаться исключительно на отчеты подчиненных и социологические исследования. Однако первые нужно долго обрабатывать, а вторые все же лучше работают в меньших масштабах. А если массив еще и постоянно обновляется и его объемы растут ... Что делать?

Четвертая промышленная революция обеспечила появление нового инструмента - метода анализа больших данных. Принцип заключается в том, чтобы одновременно работать с большим массивом данных, как структурированных, так и хаотических, который постоянно меняется и дополняется в зависимости от внешних факторов. Скажем, если транспортный департамент города отслеживает ситуацию с трафиком на дорогах, постоянно нужно делать поправку на аварию или дорожные работы, дифференцировать часы пик и выходные.

Сама идея обработки большого массива данных не нова: первые попытки предпринимались уже после Второй мировой войны. Они были логическим следствием появления электронных вычислительных машин. Кстати, первая такая ЭВМ, созданная в континентальной Европе, появилась в Киеве в 1951 году под руководством академика Сергея Лебедева. Но сначала она была слишком дорогой и громоздкой, чтобы иметь хоть какой-то шанс на массовое применение.

В тему: Наплевательское отношению к быту погубило СССР или Компьютерная гонка с Америкой

До 1980-х годов анализ большого массива данных был прерогативой научно-исследовательских институтов и организаций вроде NASA. Кроме того, они все же были статическими, поэтому таким образом можно исследовать данные, например, естественных наук, которые являются более устойчивыми. В остальных же случаях данных было просто столь много и поступали они слишком быстро, чтобы качественно их собрать и обработать.

Так, ранее исследователи сталкивались сразу с несколькими существенными проблемами. Сначала данные надо было корректно собрать из источников, географически удаленных друг от друга. Затем быстро обработать их и где-то надежно хранить, чтобы защитить от несанкционированного доступа и при необходимости быстро самым получать к ним доступ. И главное - проанализировать и сделать выводы.

Технологический прогресс, характеризующий Четвертую промышленную революцию, дал инструменты для решения этих задач. Теперь человечество имеет портативные и быстрые компьютеры, которые по закону Мура, удваивают свою мощность каждые 18 месяцев. Разработанные для них программы могут быстро и надежно справиться с уже имеющимися данными и потоком новых. Производство постепенно переходит на киберфизические системы, которые являются миксом физических технологий и компьютерного кода и способны создавать четкие данные о своей деятельности.

В конце концов, человечество теперь имеет интернет, который окончательно обеспечил существование метода анализа больших массивов данных. Он позволяет быстро передавать данные с различных источников в один массив. А также открывает двусторонний глобальный доступ. Скажем, производители узнают мнение миллионов потребителей, а те, в свою очередь, имеют тысячи предложений на выбор.

Большие данные меняют принцип многих социальных взаимодействий в общественной сфере. Например, Администрация социального обеспечения США (SSA), отвечающий за регуляцию пенсионных планов и выдачу социальной помощи, активно использует большие данные. Теперь Администрация может значительно быстрее и эффективнее проверять медицинские данные и диагнозы, помогает четко определять мошеннические запросы. А Министерство национальной безопасности США получает большую выгоду от совместимости и интеграции данных из различных органов безопасности: полиции, ФБР, АНБ и тому подобное.

В тему: Увы, это не паранойя: за нами следят

Технологический прогресс, который сделал анализ больших данных, также постепенно меняет природу власти. Именно из-за него возникли наибольшие дебаты в западном мире: насколько далеко власти могут идти в слежке за гражданами. Ранее государственные органы безопасности могли следить только за подозрительными лицами, вероятными преступниками, важными для государства лицами. Возможно, еще вза мигрантами из нестабильных стран. То же касалось и разведки.

Однако новые технологии позволили следить за каждым из нас тысячью способов: через камеры наблюдения на улицах, смартфоны в карманах, сообщения в социальных сетях или поисковые запросы в Google. Если раньше прослушивались конкретные телефонные линии, то теперь алгоритм позволяет анализировать все разговоры вообще, выделяя важные на основе определенных ключевых слов.

Некоторое время, пока общество не слишком задумывалось над новой реальностью, власть спокойно использовала такую ​​возможность. Слив данных, который инициировал бывший работник ЦРУ и АНБ Эдвард Сноуден, показал все масштабы шпионажа правительств за частной жизнью и коммуникациями граждан многих стран и заставил мировое сообщество переоценить приоритеты в парадигме свобода - безопасность.

Но большие данные работают и в обратном направлении. Данные Сноудена - это тысячи файлов, которые невозможно было бы обработать без применения метода анализа больших данных. Что уж говорить о сенсации 3 апреля - «панамские бумаги». Наибольший “слив” в истории журналистики - 11 500 000 файлов суммарным объемом 2,6 терабайта, над которым в течение года работала комиссия из 400 журналистов со всего мира. Без современных методов группировки и индексирования анализ этих материалов длился бы гораздо дольше.

Кроме того, большие данные позволяют медиа, негосударственным организациям и аналитическим центрам отслеживать эффективность деятельности власти и делать прогнозы относительно будущих направлений развития социальных программ. Например, недавно издание VoxUkraine опубликовало материал, в котором прогнозировался состав новой коалиции в Верховной Раде на базе взаимодействия депутатов из разных фракций во время всех важных голосований парламента VIII созыва.

В тему: Битвы Великой технологической: как в современном мире сражаются за мировое господство

Некоторые международные организации могут работать почти исключительно благодаря использованию больших данных. Они незаменимы при исследовании миграции, поэтому Управление Верховного комиссара ООН по делам беженцев и Международная организация по миграции возлагаются на этот метод в ходе исследования миграционных потоков и обеспечения как можно лучших условий для беженцев, в том числе работая с внутренне перемещенными лицами в Украине.

Не забудем и о коммерческом применении. Большие данные создали несколько новых отраслей, среди которых мониторинг и менеджмент web-страниц и социальных сетей. Здесь очень весомый вклад сделала компания Google, которая разработала не только сверхпопулярный поисковик, но и отличный инструмент для мониторинга посещаемости сайтов GoogleAnalytics. Кроме того, популяризирует контекстную рекламу в интернете, выдача которойподстраивается под каждого отдельного пользователя.

Пространство для применения метода анализа больших данных безгранично: мир на самом деле пока только стоит у его истоков. Чем больше Четвертая промышленная революция набирает силу, объединяя мир в единую социально-экономическую систему, то более широкие и репрезентативные массивы данных будут получать исследователи.

—

Виталий Рыбак, опубликовано в издании Тиждень.UA

В тему:

• Тиаго Форте: Будущее будет странным
• Основатель Google Ларри Пейдж: «Технологии еще удивят нас новыми прорывами»
• Эта машина умнее тебя. В каких играх человек никогда не победит компьютер