Mellomvare for datalagring - dummies

Middleware er dataprogramvare som kobler til programvarekomponenter. I et datalagringsmiljø er mellomvaretjenestene settet av programmer og rutiner som gjør følgende:

• Trekk data fra kilden (eller kildene).

• Kontroller at dataene er riktige.

• Flytt dataene rundt miljøet fra plattform til plattform, etter behov.

• Håndter eventuelle nødvendige datatransformasjoner.

• Last inn dataene i datalagerets database (eller databaser).

I mer formell forstand håndteres elementene i den forrige listen av disse mellomvaretjenestene:

• Datavalg og utvinning

• Datakvalitetssikring, del I (på komponentnivå)

• Databevegelse, del I (også på komponentnivå)

• Datakartlegging og transformasjon

• Datakvalitetssikring, del II (etter transformasjon har oppstått)

• Databevegelse, del II (inn i datalagerets plattformmiljø)

• Data lasting (inn i datalageret) > Denne figuren illustrerer hvordan disse mellomvaretjenestene flyter sammen i et moderat størrelse datalagringsmiljø.

Men datalagringsmiljøet kan avvike fra det som er vist i denne figuren, spesielt i området for databevegelsestjenestene. En databevegelsestjeneste er nødvendig hver gang data krysser systemgrenser. Ditt konseptuelle bilde varierer, avhengig av detaljene i ditt bestemte ende-til-ende-miljø.

Du må absolutt tenkt å planlegge, designe og ellers tenke på data warehouse middleware i forhold til de enkelte tjenestene i forrige liste, i stedet for generisk sett, for eksempel "utvinningsverktøy". "Mange forskjellige leverandører gir noen, mange eller alle disse tjenestene som en del av et enkelt produkt eller en serie produkter.

Men et verktøy som har sterke kartings- og transformasjonstjenester, kan for eksempel være svakt i data-lastingstjenester, eller et verktøy som gir et rikt sett av utvinningstjenester kan være mindre effektivt i kartleggings- og transformasjonsområdet, i tillegg til datakvalitetssikring.

Før du velger et verktøy for data warehousing-prosjektet ditt (hvis det er ruten du tar i stedet for tilpasset koding), må du sørge for at du har en god ide om de spesielle utfordringene i miljøet ditt. Hvis du for eksempel har relativt enkle datautvinningsbehov, for eksempel, men utfordrende problemer med datakvaliteten, konsentrere deg om å finne det beste kvalitetssikringsverktøyet, selv om det bare har ujevne utvinningsfunksjoner.

(Dette rådet gjelder selv om verktøyet ikke har noen ekstraksjonsegenskaper, i så fall må du kombinere det med et annet verktøy.)