Video: Essential Scale-Out Computing by James Cuff 2025
Data warehouse deluxe implementeringer er store - og blir større hele tiden. Implementeringer som bruker hundrevis av gigabyte (en gigabyte tilsvarer 1 milliard bytes) og til og med terabyte (1 billion bytes) blir stadig mer vanlige. For å administrere dette volumet av data og brukertilgang, trenger du en svært robust server og database.
Forbered deg på utfordringen! Med et datalagringslis kan du vanligvis håndtere data fra lager til lager på en enkel, lavteknologisk måte - men med datalagret deluxe, går du nå inn i vanskelighetssonen, hvor mange datalagringsprosjekter møtes Waterloo.
Du har sannsynligvis problemer med dette domenet av flere grunner:
-
Du har å gjøre med mange forskjellige datakilder, hvorav noen kan inneholde overlappende data. For eksempel kan leverandørinformasjon komme fra to forskjellige innkjøpssystemer, og noen av leverandørene dine har oppføringer i begge systemene.
Du vil sikkert gå inn i forskjellige sett med identifikatorer som du må konvergere (for eksempel seks alfanumeriske tegn som er identifisert som SUPPLIER_ID i et av systemene og et unikt heltall som er kjent som SUP_NUM i det andre).
-
Hvis datalagret ditt er stort (måler mer enn 250 gigabyte), er det sannsynlig at du får problemer med å trekke ut, flytte og laste inn batchvinduene. Batchvinduer , tidsrammer der oppdateringer gjøres på lageret, er komplisert av antall datakilder du må håndtere.
-
Sjansene for å ha en ødelagt utvinning, bevegelse, transformasjon og lasteprosess er eksponentielt relatert til antall dataelementer som skal lastes inn i datalageret.
Hvis du kan tilordne noen vanskelighetsfaktorer (for eksempel et heltall) til prosessen med å få data inn i lageret, vil følgende tiltak være oppfylt: Du har n data elementer som du vil inkludere i datalageret med en vanskelighetsfaktor på x. Hvis du nå har 2 n dataelementer, er vanskelighetsfaktoren din ikke 2 x; heller er det x kvadratet.
For å gjøre denne vanskelighetsgraden lettere å forstå, tilordne noen tall til n og x. Si at datalageret ditt har 100 elementer (n) og vanskelighetsfaktoren (x) er 5. Hvis du dobler antall elementer ( n > = 200), er vanskelighetsfaktoren din 25 (5 kvadrat), ikke 10 (5 x 2). Prosessen med å håndtere så mange datakilder, alt på vei mot ett sted (datalageret ditt deluxe), har alle elementene i for mange kokker på kjøkkenet, eller hva som er sagt.
-
For å få utvinnings-, bevegelses-, transformasjons- og lasteprosessen jevnt, må du sannsynligvis håndtere mange forskjellige applikasjonseiere, offisielle databehandlere og andre personer fra en rekke ulike organisasjoner, som alle må samarbeide som om de er en del av et profesjonelt symfoniorkester.
Virkeligheten er imidlertid at de utfører mer som en gruppe barnehageelever som hver velger et musikkinstrument fra leketøybøtten og blir fortalt, "Spill nå noe! "Selv om prosessen ikke nødvendigvis er dømt til å mislykkes, forventer en rekke iterasjoner til du kan få datalagret deluxe lastet akkurat akkurat.
En data warehouse deluxe kan ha tre nivåer (som et datalager lite), unntatt med flere datakilder og kanskje mer enn en type brukerverktøy som kommer til lageret. Men arkitekturen for et data warehouse deluxe ser sannsynligvis mer ut som det som vises i denne figuren, med mange forskjellige samlingspunkter for data.
I tillegg til andre nødvendige "veibanestasjoner" for ditt eget miljø kan miljøet ha disse elementene:
Data mart:
-
Motta delsett av informasjon fra datalageret Deluxe, og tjener som det primære tilgangspunktet for brukere. Midlertidig transformasjonsstasjon:
-
Et område hvor dataene hentet fra noen av kildene gjennomgår en eller annen type transformasjonsprosess før de beveger seg ned i rørledningen mot lagerets database. Kvalitetssikringsstasjon:
-
Et område der datagrupper gjennomgår intensive kvalitetssikringskontroller før du lar dem flytte inn i datalageret.
