Innholdsfortegnelse:
Video: Einmal Tropico 3 to go bitte - Tropico Mobile Game Review - iOS & Android App Test - deutsch-German 2024
Din store dataarkitektur må også utføre i samspill med organisasjonens støttende infrastruktur. For eksempel kan du være interessert i å kjøre modeller for å avgjøre om det er trygt å bore for olje i et offshore-område gitt sanntidsdata om temperatur, saltholdighet, sedimentresuspensjon og en rekke andre biologiske, kjemiske og fysiske egenskaper av vannsøylen.
Det kan ta dager å kjøre denne modellen ved hjelp av en tradisjonell serverkonfigurasjon. Men ved hjelp av en distribuert databehandlingsmodell kan det ta dager å ta dager.
Ytelse kan også bestemme hvilken type database du vil bruke. For eksempel, i noen situasjoner, vil du kanskje forstå hvordan to svært forskjellige dataelementer er relatert. Hva er forholdet mellom buzz på et sosialt nettverk og veksten i salget? Dette er ikke den typiske spørringen du kan spørre om en strukturert, relasjonsdatabase.
En grafikkdatabase kan være et bedre valg, da det er spesielt utformet for å skille "noder" eller enheter fra dets "egenskaper" eller informasjonen som definerer den enheten, og "kanten" eller forholdet mellom noder og egenskaper. Bruk av riktig database vil også forbedre ytelsen. Vanligvis vil grafdatabasen brukes i vitenskapelige og tekniske applikasjoner.
Andre viktige operative database tilnærminger inkluderer kolonne databaser som lagrer informasjon effektivt i kolonner i stedet for rader. Denne tilnærmingen fører til raskere ytelse fordi inngang / utgang er ekstremt rask. Når geografisk datalagring er en del av ligningen, er en romlig database optimalisert for å lagre og spørre data basert på hvordan objekter er relatert i rommet.
Organiser store datatjenester og verktøy
Ikke alle dataene som organisasjonene bruker, er operativt. En økende mengde data kommer fra en rekke kilder som ikke er like organisert eller grei, inkludert data som kommer fra maskiner eller sensorer, og massive offentlige og private datakilder. Tidligere kunne de fleste bedrifter ikke enten fange opp eller lagre denne enorme mengden data. Det var bare for dyrt eller for overveldende.
Selv om selskapene var i stand til å fange opp dataene, hadde de ikke verktøyene til å gjøre noe med det. Svært få verktøy kan gi mening om disse enorme mengder data. Verktøyene som eksisterte var komplekse å bruke og produserte ikke resultater i en rimelig tidsramme.
Til slutt ble de som virkelig ønsket å gå til den enorme innsatsen for å analysere disse dataene, tvunget til å jobbe med øyeblikksbilder av data.Dette har den uønskede effekten av manglende viktige hendelser fordi de ikke var i et bestemt øyeblikksbilde.
MapReduce, Hadoop og Big Table for store data
Med utviklingen av datateknologi er det nå mulig å administrere enorme datamengder. Prisene på systemer har falt, og som et resultat er nye teknikker for distribuert databehandling mainstream. Det virkelige gjennombrudd skjedde som selskaper som Yahoo!, Google og Facebook kom til oppfatningen at de trengte hjelp til å tjene penger på de enorme mengdene data de opprettet.
Disse fremvoksende selskapene trengte å finne ny teknologi som gjør at de kan lagre, få tilgang til og analysere store mengder data i nær sanntid, slik at de kan tjene penger på å eie så mye data om deltakere i deres nettverk.
Deres resulterende løsninger forvandler datastyringsmarkedet. Spesielt har innovasjonene MapReduce, Hadoop og Big Table vist seg å være gnistene som førte til en ny generasjon datahåndtering. Disse teknologiene adresserer en av de mest grunnleggende problemene - evnen til å behandle store mengder data effektivt, kostnadseffektivt og i tide.
MapReduce
MapReduce ble designet av Google som en måte å effektivt utføre et sett med funksjoner mot en stor mengde data i batchmodus. Komponenten "Kart" distribuerer programmeringsproblemet eller oppgavene over et stort antall systemer og håndterer plasseringen av oppgavene. Det balanserer også lasten og styrer feilgjenoppretting. En annen funksjon kalt "redusere" aggregerer alle elementene sammen igjen for å gi et resultat.
Big Table
Big Table ble utviklet av Google for å være et distribuert lagringssystem beregnet til å administrere svært skalerbare strukturerte data. Data er organisert i tabeller med rader og kolonner. I motsetning til en tradisjonell relationsdatabasemodell er Big Table et sparsomt, distribuert, vedvarende flerdimensjonalt sortert kart. Det er ment å lagre store datamengder på tvers av råvareservere.
Hadoop
Hadoop er et Apache-styrt programvare rammeverk avledet fra MapReduce og Big Table. Hadoop tillater applikasjoner basert på MapReduce å kjøre på store klynger av råvarehardware. Prosjektet er grunnlaget for databehandlingsarkitekturen som støtter Yahoo! s virksomhet. Hadoop er designet for å parallellisere databehandling på tvers av databehandlingsknuter for å øke hastigheten på beregninger og skjule latens.
To hovedkomponenter av Hadoop eksisterer: et massivt skalerbart distribuert filsystem som kan støtte databaser av data og en massivt skalerbar MapReduce-motor som beregner resultater i batch.
