Forskjellige tilnærminger til stor data analyse - dummies

I mange tilfeller vil stor dataanalyse bli representert til sluttbrukeren gjennom rapporter og visualiseringer. Fordi rådataene kan være uforståelig variert, må du stole på analyseverktøy og teknikker for å bidra til å presentere dataene på meningsfulle måter.

Nye applikasjoner kommer til rådighet og faller bredt inn i to kategorier: tilpasset eller semi-tilpasset.

Egendefinerte applikasjoner for stor dataanalyse

Generelt er et tilpasset program opprettet for et bestemt formål eller et relatert sett med formål. For stor dataanalyse er formålet med tilpasset applikasjonsutvikling å øke tiden til avgjørelse eller handling.

R miljø

R-miljøet er basert på "S" -statistikken og analysespråket utviklet på 1990-tallet av Bell Laboratories. Den vedlikeholdes av GNU-prosjektet og er tilgjengelig under GNU-lisensen.

Mens det er utfordrende å forstå, gjør dens dybde og fleksibilitet det et overbevisende valg for analytikkprogramutviklere og "strømbrukere". "I tillegg opprettholder CRAN R-prosjektet et verdensomspennende sett med File Transfer Protocol og webservere med de nyeste versjonene av R-miljøet. En kommersielt støttet, bedriftsversjon av R er også tilgjengelig fra Revolution Analytics.

Mer spesifikt er R en integrert pakke med programvareverktøy og teknologier utviklet for å skape tilpassede applikasjoner som brukes til å lette datamanipulering, beregning, analyse og visuell visning. Blant andre avanserte funksjoner støtter den

• Effektive datahåndterings- og manipulasjonskomponenter.

• Operatører for beregninger på arrayer og andre typer bestilte data.

• Verktøy som er spesifikke for en rekke dataanalyser.

• Avanserte visualiseringsfunksjoner.

• S programmeringsspråk designet av programmører, for programmerere med mange kjente konstruksjoner, inkludert betingelser, sløyfer, brukerdefinerte rekursive funksjoner og et bredt spekter av inngangs- og utgangsfasiliteter.

R er godt egnet til engangsbruk, tilpassede applikasjoner for analyse av store datakilder.

Google Prediction API

Google Prediction API er et eksempel på en ny klasse av store dataanalyse applikasjonsverktøy. Den er tilgjengelig på nettstedet til Google utviklere og er godt dokumentert og utstyrt med flere mekanismer for tilgang ved hjelp av forskjellige programmeringsspråk. For å hjelpe deg med å komme i gang, er det fritt tilgjengelig i seks måneder.

Prediksjons-API er ganske enkelt. Det ser etter mønstre og samsvarer med dem til proscriptive, prescriptive eller andre eksisterende mønstre.Mens du utfører mønstermatchingen, lærer den også. "Jo mer du bruker det, jo smartere blir det.

Prediksjon er implementert som en RESTful API med språkstøtte for. NET, Java, PHP, JavaScript, Python, Ruby og mange andre. Google gir også skript for tilgang til API-en samt et klientbibliotek for R.

Prediktiv analyse er en av de mest kraftige mulighetene for store data, og Google Prediction API er et veldig nyttig verktøy for å lage tilpassede applikasjoner.

Semi-tilpassede applikasjoner for stor dataanalyse

I sannhet er det faktisk mange som oppfatter som tilpassede applikasjoner, opprettet ved hjelp av "pakket" eller tredjepartskomponenter som biblioteker. Det er ikke alltid nødvendig å kodes en ny applikasjon helt. Bruk av pakkede applikasjoner eller komponenter krever at utviklere eller analytikere skriver kode for å "strikke sammen" disse komponentene i et fungerende tilpasset program. Følgende er grunner til at dette er en god tilnærming:

• Hastighet til distribusjon: Fordi du ikke trenger å skrive alle deler av applikasjonen, kan utviklings tiden reduseres kraftig.

• Stabilitet: Bruk av godt konstruerte, pålitelige komponenter fra tredjeparter kan bidra til å gjøre den tilpassede applikasjonen mer motstandsdyktig.

• Bedre kvalitet: Emballerte komponenter er ofte gjenstand for høyere kvalitetsstandarder fordi de distribueres i et bredt spekter av miljøer og domener.

• Mer fleksibilitet: Hvis en bedre komponent kommer sammen, kan den byttes inn i applikasjonen, forlenge levetiden, tilpasningsevnen og nytten av den tilpassede applikasjonen.

En annen type semi-tilpasset applikasjon er en der kildekoden er tilgjengelig og er endret for et bestemt formål. Dette kan være en effektiv tilnærming fordi det er mange eksempler på bruksblokkene som er tilgjengelige for å innlemmes i ditt semi-tilpassede program:

• TA-Lib: Biblioteket for teknisk analyse brukes i stor utstrekning av programvareutviklere som trenger å utføre teknisk analyse av finansielle markedsdata. Den er tilgjengelig som åpen kildekode under BSD-lisensen, slik at den kan integreres i semi-tilpassede applikasjoner.

• JUNG: Java Universal Network Graph-rammeverket er et bibliotek som gir et felles rammeverk for analyse og visualisering av data som kan representeres av en graf eller et nettverk. Det er nyttig for sosial nettverksanalyse, viktighetsmål og datautvinning. Den er tilgjengelig som åpen kildekode under BSD-lisensen.

• GeoTools: Geospatial verktøykasse med åpen kildekode for å manipulere GIS-data i mange former, analysere romlige og ikke-romlige attributter eller GIS-data og lage grafer og nettverk av dataene. Den er tilgjengelig under GPL2-lisensen, slik at det blir integrert i semi-tilpassede applikasjoner.