Egenskaper ved en Big Data Analysis Framework - dummies

Selv om nye sett med verktøy fortsatt er tilgjengelige for å hjelpe deg med å administrere og analysere dine store datarammer mer effektivt, kan du kanskje ikke få det du trenger. I tillegg kan en rekke teknologier støtte stor dataanalyse og krav som tilgjengelighet, skalerbarhet og høy ytelse. Noen av disse inkluderer store datautstyr, kolonnebaserte databaser, in-memory-databaser, ikke-relasjonelle databaser og massivt parallelle prosessorer.

Så hva ser forretningsbrukere på når det gjelder stor dataanalyse? Svaret på det spørsmålet avhenger av hvilken type forretningsproblem de prøver å løse. Noen viktige hensyn når du velger et stort dataprogram for analyseanalyser, inkluderer følgende:

• Støtte for flere datatyper: Mange organisasjoner inkorporerer eller forventer å inkorporere alle typer data som en del av deres store datautbredelser, inkludert strukturert, halvstrukturert og ustrukturert data.

• Håndtere batchbehandling og / eller sanntidsdatastrømmer: Handlingsorientering er et produkt av analyse på sanntid datastrømmer, mens beslutningsretningen kan betjenes tilstrekkelig ved batchbehandling. Noen brukere vil kreve begge, da de utvikler seg for å inkludere varierende analysemetoder.

• Bruk det som allerede eksisterer i ditt miljø: For å få den rette konteksten kan det være viktig å utnytte eksisterende data og algoritmer i det store dataanalysesammenheng.

• Støtte NoSQL og andre nyere former for tilgang til data: Mens organisasjoner vil fortsette å bruke SQL, ser mange også på nyere former for datatilgang for å støtte raskere responstider eller raskere tider til avgjørelse.

• Overvinn lav ventetid: Hvis du skal håndtere høy datahastighet, trenger du et rammeverk som kan støtte kravene til fart og ytelse.

• Gi billig lagring: Store data betyr potensielt mye lagring - avhengig av hvor mye data du vil behandle og / eller beholde.

• Integrere med Cloud Deployments: Skyen kan gi lagring og beregne kapasitet på etterspørsel. Flere og flere selskaper bruker skyen som en analyse "sandkasse. "Clouden blir stadig en viktig distribusjonsmodell for å integrere eksisterende systemer med cloud-distribusjoner i en hybridmodell.

Selv om alle disse egenskapene er viktige, er den oppfattede og faktiske verdien av å skape applikasjoner fra et rammeverk raskere tid til distribusjon.Med alle disse evnene i tankene, bør du vurdere et stort dataanalyseprogramramme fra et selskap som heter Kontinuitet.

Kontinuiteten AppFabric er et rammeverk som støtter utvikling og distribusjon av store dataprogrammer. AppFabric seg selv er et sett med teknologier som er spesielt utviklet for å abstrahere vagariene i lavt nivå stor datateknologi. Programbyggeren er en Eclipse-plugin som tillater utvikleren å bygge, teste og feilsøke lokalt og i kjente omgivelser.

AppFabric-funksjonalitet inkluderer følgende:

• Strømstøtte for sanntidsanalyse og reaksjon

• Samlet API, eliminerer behovet for å skrive til stor datainformasjon

• Spørringsgrensesnitt for enkle resultater og støtte for pluggbare spørringsprosessorer

• Datasett som representerer spørringsdata og tabeller som er tilgjengelige fra Unified API

• Lese og skrive data uavhengig av inngangs- eller utgangsformater eller underliggende komponentspesifikasjoner

• Transaksjonsbasert hendelsebehandling

• Multimodal distribusjon til en enkelt node eller skyen

Denne tilnærmingen skal få trekkraft for stor dataprogramutvikling, hovedsakelig på grunn av den overflod av verktøy og teknologier som kreves for å skape et stort datamiljø.

Manglende samarbeid kan være kostbart på mange måter. Store organisasjoner kan dra nytte av verktøy som driver samarbeid. Svært ofte folk som gjør lignende arbeid er uvitende om hverandres innsats som fører til duplikat arbeid.

Et annet godt eksempel på en søknadsramme er OpenChorus. I tillegg til rask utvikling av store dataanalyseprogrammer, støtter det også samarbeid og gir mange andre funksjoner viktig for programvareutviklere, som verktøyintegrasjon, versjonskontroll og konfigurasjonsbehandling.

Open Chorus er et prosjekt vedlikeholdt av EMC Corporation og er tilgjengelig under Apache 2. 0 lisensen. EMC produserer og støtter også en kommersiell versjon av Chorus. Både Open Chorus and Chorus har pulserende partnernettverk, samt et stort sett av individuelle og bedriftsbidragsytere.

Open Chorus er et generisk rammeverk. Dens ledende funksjon er evnen til å skape et felles "hub" for deling av store datakilder, innsikt, analyse teknikker og visualiseringer. Open Chorus gir følgende:

• Repository of analyseverktøy, artefakter og teknikker med fullstendig versjonering, endring av sporing og arkivering

• Arbeidsområder og sandkasser som er selvbetjent og lett vedlikeholdt av fellesskapsmedlemmer

• Visualiseringer, inkludert varmekart, tidsserier, histogrammer og så videre.

• Forbundet søk på alle dataaktiver, inkludert Hadoop, metadata, SQL-lagre og kommentarer.

• Samarbeid gjennom sosiale nettverkstilpassede funksjoner som oppmuntrer til oppdagelse, deling og brainstorming.

• Utvidbarhet for integrering av komponenter og teknologier fra tredjepart