Jakie możliwości daje Big Data?

Z analizy danych w jeszcze większym stopniu korzysta biznes. Firmy gromadzą i analizują olbrzymie wolumeny różnego typu danych dotyczących m.in. zachowań klientów, czy swojej sytuacji finansowej.

- Początkowo, ze względu na wysokie koszty, rozwiązania Big Data były dostępne tylko dla największych firm, ale wraz z upowszechnieniem chmur publicznych z zaawansowanej analityki danych zaczęły korzystać także mniejsze podmioty, bo koszty tego typu rozwiązań i dostępność wysoko wykwalifikowanej kadry przestały być barierą.

Globalne platformy, takie jak Google Cloud Platform udostępniają gotowe rozwiązania, które pozwalają na zbudowanie prostego modelu nawet przez osobę, która nie jest programistą - mówi Jakub Czajkowski, inżynier z Praktyki Data/AI Chmury Krajowej.

Pojęcie to po raz pierwszy pojawiło się na początku XXI wieku, a za autora uznaje się analityka Douga Laneya. On też ukuł obowiązującą obecnie definicję, na którą składają się trzy V: Variety (różnorodność), Volume (wolumen) oraz Velocity (szybkość). Każdy z tych rzeczowników odnosi się do innego aspektu Big Data.

Różnorodność oznacza wiele rodzajów formatów danych: zarówno dane “surowe”, dane tekstowe, dane liczbowe, po pliki audio, video, emaile czy kursy walut.

Wolumen odnosi się z kolei do ich ilości oraz przestrzeni, w której są składowane - współcześnie wykorzystuje się do tego zarówno rozwiązania offline, jak i chmurowe, oferowane m.in. przez Google.

Natomiast szybkość to tempo przyrostu danych. Dla przykładu: każdego dnia tylko na Instagrama trafia 95 mln plików video i zdjęć, na Twitterze wysyłanych jest pół miliarda tweetów i wymienianych jest ponad 300 miliardów e-maili. To szalone tempo spowodowało, że przez ostatnie dwa lata powstało 90 proc. wszystkich danych na świecie.[1] Prędkość generowania i gromadzenia danych będzie rosła ze względu na Internet rzeczy, czyli różnego typu dane z czujników umieszczonych w urządzeniach, np. samochodach, sprzęcie AGD, systemach alarmowych czy zakładach produkcyjnych, które w przeciwieństwie do ludzi mogą generować dane nieprzerwanie 24/7/365.

Zgromadzenie danych, to zaledwie pierwszy krok w świat Big Data. Coraz częściej firmy wykorzystują rozwiązania z zakresu sztucznej inteligencji, które automatyzują proces ich pozyskiwania i segregowania. Kolejnym krokiem jest przetwarzanie i analizowanie danych, aby na ich podstawie kreować nową wartość dla swoich klientów i podejmować lepsze decyzje biznesowe.

Ważnym akceleratorem rozwoju Big Data jest popularyzacja rozwiązań chmurowych. Chmura obliczeniowa pozwala korzystać z nieograniczonej mocy obliczeniowej w ramach założonego budżetu i skalować rozwiązania w zależności od potrzeb.

- Big Data wymaga dużych zasobów pamięci oraz mocy obliczeniowej - budowa takiej infrastruktury w organizacji to często inwestycja liczona w setkach tysięcy dolarów, a więc dostępna tylko dla największych firm. Możliwość skorzystania z zasobów dużego dostawcy chmury publicznej za ułamek tej kwoty powoduje, że z zaawansowanej analityki danych mogą korzystać zarówno korporacje, jak i startupy - mówi Jakub Czajkowski z Chmury Krajowej.

W raporcie stowarzyszenia Big Data Value Association wymieniono pięć głównych obszarów, w których technologie Big Data są przełomem. Należą do nich:

● cyberbezpieczeństwo - automatyzacja systemów bezpieczeństwa

● analiza danych biomedycznych - bioinformatyka, biostatystyka oraz medycyna obliczeniowa

● przetwarzanie Big Data i strumieniowa analiza danych - wykorzystywana m.in. przy budowie inteligentnych miast (tzw. smart city)i analizie genomu.

● zaawansowane metody uczenia maszynowego — rozwój algorytmów oraz narzędzi automatyzacyjnych oraz do weryfikacji transparentności modeli predykcyjnych

● matematyczne podstawy analizy danych — modelowanie różnego rodzaju procesów przy użyciu szerokiego aparatu matematycznego.

Szczególnie ciekawy jest sektor ochrony zdrowia. Zaawansowana analityka na podstawie zebranych danych o zachorowaniach na COVID-19 pozwala tworzyć modele rozwoju epidemii. Liczba zastosowań Big Data w medycynie cały czas rośnie.

Przykładem może być firma telemedyczna Amwell, która zajmuje się dostarczaniem narzędzi i technologii do pracy zdalnej lekarzy. W 2020 r. w Amwell zainwestował Google i właśnie z rozwiązań tego dostawcy korzysta firma.

Innym sektorem, w którym Big Data ma wielką przeszłość jest energetyka. Wynika to z przyspieszającej na naszych oczach transformacji energetycznej, której celem jest osiągniecie neutralności klimatycznej. Według raportu fundacji GAP Polska gospodarka ma najwyższy procentowy udział emisji CO2 na wytworzoną jednostkę PKB. Jednym z rekomendowanych rozwiązań ma być zastosowanie technologii takich jak sztuczna inteligencja, automatyzacja i Big Data właśnie do redukcji konsumpcji energii i w konsekwencji zmniejszenia emisji dwutlenku węgla.

Zaawansowaną analitykę danych można też wykorzystać do poprawy bezpieczeństwa w sieci, zwłaszcza do analizy predyktywnej i wyprzedzania cyberprzestępców.

Współczesny internet to stały wyścig zbrojeń, a duże zbiory danych i znajdujące się w nich schematy mogą okazać się ważnym orężem. Big Data pozwala na wczesne wykrywanie słabych punktów sieci, a przy okazji na wizualizację potencjalnych ataków. Dzięki temu użytkownicy mogą lepiej wyobrazić sobie skalę zagrożenia.

O potencjale takich rozwiązań sprawę zdaje sobie polski przemysł. PGNiG Ventures, fundusz venture capital grupy PGNiG, zainwestował pod koniec marca 4 mln zł w akcje polskiego producenta systemów cyberbezpieczeństwa ICsec. System przedsiębiorstwa docelowo ma wykrywać zagrożenia, anomalie i cyberzagrożenia w sieciach automatyki przemysłowe. Przy tej pracy opiera się właśnie na Big Data, ale również uczeniu maszynowym czy sztucznej inteligencji. Całość działań ochronnych odbywać się będzie w czasie rzeczywistym.

Chmury publiczne, np. Google Cloud, dają bardzo duże możliwości pracy z danymi, a Google Cloud Region Warszawa pozwoli na dodatkowe obniżenie czasu w przesyłaniu i przetwarzaniu danych. Komponenty Google Cloud to w dużej mierze gotowe do wykorzystania narzędzia. Ich wdrożenie jest wielokrotnie szybsze niż budowa rozwiązań od podstaw.

Jednym z przykładów jest BigQuery, flagowe rozwiązanie do przetwarzania danych od Google. BigQuery to skalowalna hurtownia danych w chmurze. Pozwala na analizę dużych zbiorów danych bez konieczności inwestowania w infrastrukturę i płatne licencje.

Chmura Krajowa, strategiczny partner Google Cloud w Polsce, realizuje projekty związane z Big Data z firmami z bardzo różnych sektorów gospodarki - od przemysłu ciężkiego, przez sektor finansowy po administrację publiczną, co pokazuje uniwersalność rozwiązań dostępnych w chmurach publicznych. Wśród tych projektów można wymienić integrację danych z wielu źródeł i implementujące wykorzystanie modeli sztucznej inteligencji. Opracowane na tej podstawie interaktywne raporty, pomagają podejmować lepsze decyzje biznesowe.

Wśród innych przykładów warto wymienić wdrożenie rozwiązania kategoryzującego dokumenty na podstawie ich zdjęć lub skanów. System automatycznie rozpoznawał i kategoryzował dokumenty z dokładnością ponad 98 procent.

Dzięki Chmurze Krajowej i jej współpracy w Polsce z Google rozwiązania Big Data są jeszcze łatwiej dostępne dla polskich firm, bez względu na ich wielkość.