Mi a nagy adat?

Hogyan kell

ÁltalRyan Dube

Utoljára frissítve:2020. március 26

Az évek során sok ijesztőszó vált divatossá sok iparágban. Kevés olyan ember vált népszerűvé, és olyan sokáig, mint nagy adat. De pontosan mi a nagy adat?

A nagy adatok a különféle forrásokból származó információk virtuális óceánjára vonatkoznak, amelyeket elemeznek és szűrnek úgy, hogy értelmes és cselekvési eredményeket érjenek el.

A „nagy adatok” értelmes eredményekké konvertálásának folyamata bonyolultnak és bonyolultnak tűnhet. Ha azonban megérti, hogy mi a nagy adat és hogyan működik, akkor nem tűnik olyan bonyolultnak, hogy megértse, hogyan kell értelmezni azt.

Mi a nagy adat?

Amikor azt hallja, hogy az emberek „nagy adatokról” beszélnek, általában sok kéz integet és nagy szavakkal jár. De amikor az összes hiperbolt felforrja, a tényleges „adatok” valójában sokféle adatbemeneti adatfolyam.

Ennek megértéséhez egy példa segíthet. Tegyük fel, hogy egy esernyőgyártó vállalatot működtet. A marketing osztály keres egy módszert a jobb előrejelzésre, amikor a piaci kereslet hamarosan növekszik.

A nagy adatok napja előtt a marketingszakemberek megvizsgálták a piaci tendenciákat, elküldték az ügyfelek felméréseit és sok más tevékenységet.

Mindezeket az adatokat összegyűjtik és tárolják saját vállalatának belső adatbázisaiban. Lehet, hogy valaki felel a marketingkutatási adatok éves vagy negyedéves frissítéséért is.

A nagy adatok megjelenése azonban kibővíti az ilyen típusú kutatások elvégzésének képességét. Különösen a nagy adatok különösen hatékonyak a fontos tendenciák vagy események azonosításához közel valós időben.

Az ilyen típusú „nagy adat” elemzéshez bevitt adatok tartalmazhatnak valós idejű adatfolyamokat azáltal, hogy beírják a kódot Alkalmazásprogramozási felület (API) sok olyan társaságból, amelyek az adatokat nyilvánossá tették:

• Twitter és a Facebook: Azonosítsa, mikor és miért beszélnek az emberek esernyők vásárlásáról.
• Időjárás: Azonosítás időjárási viszonyok vagy előrejelzések, amelyek magasabb esernyő-eladásokká válhatnak.
• Tőzsde: Az esernyők előállításához szükséges nyersanyagok szezonális változásai.
• Ügyfél webes használata: A számítógépes sütik azon emberek száma, akik meglátogatják a vállalati katalógust, hogy megértsék a vásárlási magatartást.
• Vevői vásárlási előzmények: A kiskereskedők nyomon követése az értékesítés helyének földrajzával és évszakaival.

A nagy adatok felhasználásához a vállalat marketing csapatának bizonyos esetekben új technológiákat kell telepítenie.

Big Data és az internet

Ez magában foglalhatja a tárgyak internete (IoT) technológiáját a kiskereskedőknél, amely nyomon követi és beszámol a fogyasztói magatartásról. Vagy szükség lehet arra, hogy egy programozó írja meg a Twitter API-jához való kapcsolódáshoz szükséges kódot, hogy kiszűrje minden olyan Tweetet, amely megemlíti az „esernyőket” vagy a cégnevet.

Ezen technológiák mindegyike már elérhető az internetnek köszönhetően. Az internet lehetővé teszi, hogy bárki hozzáférhessen az adatfolyamokhoz a világ minden tájáról.

Így működhet a saját példánkban szereplő beállítás ebben az esetben.

Ez a diagram azt mutatja be, hogy az adatok hogyan áramolnak be a vállalat „adat-tójába” számos különböző forrásból. A bejövő adatok eltérően lehetnek felépítve, de fontos, hogy minden forrásból minél több adatot gyűjtsünk.

Mi az a Data Lake?

Az adatbázishoz képest, amely strukturált adatokat tartalmaz bizonyos oszlopokba és sorokba rendezve, az adattó egy hatalmas adattár számos különféle adat számára.

A tárolt adatok strukturálhatók vagy strukturálatlanok lehetnek. Ez azt jelenti, hogy strukturált sorokkal és oszlopokkal rendelkezik, vagy nem. Az adatok lehetnek olyan karakterláncok, amelyek speciális formázást használnak az adatok elválasztására. Minden adatforrás bármilyen formában elküldheti az adatokat az adat-tónak.

Képpeljen egy adattó-tó, mint egy hatalmas könyvtár, amely sokféle médiumot tartalmaz, például könyveket, képeket a mikrofilmeken és videókat DVD-n.

Képzelje el a digitális intelligencia és az adatelemzés mérnökét, mint a könyvtár védőszentjeit. Ezek a pártfogók digitálisan kihúzzák az adatokat a könyvekből, a mikrofilm-dokumentumokból és a DVD-kből, és megtalálhatják az adatok összekeverésének és kombinálásának módját, és megtanulhatják az adatokat az adatok korrelációjából.

Ezekből a tanulásokból tényleges, cselekvési intelligencia jön létre. Néhány példa a következőkből állhat:

• A Twitter és a Facebook beszélgetése közeledő viharra utal New Yorkban, több ezer vásárló tervezi esernyő vásárlását.
• A számítógépes sütik beszerzési adatai és a kiskereskedelmi pénztárak azt jelzik, hogy Kaliforniában a vásárlók hajlandóak többet fizetni a designer esernyőkért, mint Virginiában.
• A nagy közeledő viharmintázat azt jelzi, hogy a Keleti part legnagyobb részét teljes héten esővihar borítja.

Mindezek a megtanulások arra késztethetik a marketing csapatot, hogy fektessen be több földrajzi reklámba, ahol az esernyő értékesítési igénye sokkal erősebb. A gyártási műveletek áthelyezhetik termelési erőfeszítéseiket a világ azon területeire is, amelyek közelebb vannak ahhoz, ahol az eladások nagyobb valószínűséggel emelkednek.

Ily módon a nagy adatok felhasználásával bármilyen vállalat racionalizálhatja marketingjét és működését.

Mi a Hadoop?

A következő kérdés az, hogy a vállalatok hogyan dolgozzák fel ilyen nagy mennyiségű adatot, és hogyan azonosítják a trendeket?

Az ilyen típusú adatgyűjtés hatalmas számítógépes erőforrásokat igényel. Annyira, hogy a vállalatok már nem használnak nagy nagyszámítógépes számítógépeket a helyszínen, mint régen. Ezeknek a szolgáltatásoknak sok része most már a felhőből történő vásárlás. Az olyan felhőalapú intelligenciaszolgáltatások, mint az Apache Hadoop, számos számítógépes csomópontot kínálnak egy nagy felhőhálózaton. Ezek a csomópontok hozzájárulnak a több forrásból származó hatalmas adatfolyamok elemzéséhez szükséges feldolgozási teljesítményhez.

Az ilyen típusú feldolgozási teljesítmény a gép vagy a digitális intelligencia és az adatelemzés központja. A Hadoop az a szoftverkeret, amely a digitális intelligencia mérnökök számára megköveteli a hatalmas számítási teljesítmény teljes hálózatának működését.

Miután a számítástechnikai motor működőképes intelligenciát hozott létre, ezeket rendszerint műszerfal vagy jelentés formájában kézbesítik a társaságnak.

A Big Data nemcsak a zümmögők

Az igazság az, hogy a „nagy adat” nem csupán a vállalati lingó. Sok vállalat megtanulja, hogy az adatok jobb felhasználásával számos eredményt tud elérni.

• A gyártók javíthatják a kritikus termelési mutatókat, például a hozamot, a minőséget és a hatékonyságot.
• A kiskereskedők jobban összehangolhatják a marketing, a reklám és az üzleti befektetéseket a piaci jelek alapján.
• A disztribútorok képesek előre jelezni az esetleges problémákat az ellátási láncban, hogy megelőzően kidolgozzák a vészhelyzeti terveket.
• A hírszervezetek az internet nyilvános jeleinek elemzésével gyorsan azonosíthatják a hírértékű eseményeket.
• Kiberbiztonsági szakértők használjon jeleket az interneten keresztül a számítógépes támadások azonosításához, amíg azok folyamatban vannak.

Noha az utóbbi években elért nagy adatok nagy része gyakorlatilag láthatatlan a nyilvánosság számára, a nagy adatoknak tényleg jelentős hatása van a világ minden tájáról származó emberek mindennapi életére.