Lag 3 av Big Data Stack: Organisering av datatjenester og verktøy - dummies

Organisering av datatjenester og verktøy , lag 3 av den store datastakken, innfange, validere og samle ulike store dataelementer inn i kontekstrelevant relevant samlinger. Fordi store data er enorme, har teknikker utviklet seg til å behandle dataene effektivt og sømløst. MapReduce er en mye brukt teknikk. Det er nok å si at mange av disse organisert datatjenestene er MapReduce-motorer, spesielt utviklet for å optimalisere organisering av store datastrømmer.

Organiserende datatjenester er i virkeligheten et økosystem av verktøy og teknologier som kan brukes til å samle og samle data som forberedelse til videre behandling. Som sådan må verktøyene gi integrasjon, oversettelse, normalisering og skala. Teknologier i dette laget inkluderer følgende:

• Et distribuert filsystem: Nødvendig for å imøtekomme dekomponering av datastrømmer og for å gi skala og lagringskapasitet

• Nødvendig for vedvarende datalagring og multilanguage fjernprosedyreanrop (RPC) Koordineringstjenester:

• Nødvendig for å bygge distribuerte applikasjoner (låsing og så videre) > Utdrag, transformer og last (ETL) verktøy: Nødvendig for lasting og konvertering av strukturerte og ustrukturerte data til Hadoop

• Workflow-tjenester: Nødvendig for planlegging av jobber og å gi en struktur for synkronisering av prosesselementer på tvers lagene