Video: Why Enterprise Architecture? 2024
I perspektiv kommer målet for å designe en arkitektur for dataanalyse å bygge opp et rammeverk for å fange, sortere og analysere store data for formålet å oppdage gjennomførbare resultater.
Det er ingen riktig måte å designe det arkitektoniske miljøet for stor dataanalyse. Imidlertid må de fleste design oppfylle følgende krav for å støtte utfordringene store data kan medføre. Disse kriteriene kan distribueres hovedsakelig over seks lag og kan oppsummeres som følger:
- Arkitekturen din bør inneholde en stor dataplatform for lagring og beregning, for eksempel Hadoop eller Spark, som er i stand til å skalere ut.
- Arkitekturen din bør inkludere storskala programvare og store dataredskaper som er i stand til å analysere, lagre og hente store data. Disse kan bestå av komponentene i Spark, eller komponentene i Hadoop økosystem (som Mahout og Apache Storm). Du vil kanskje også vedta et stort data stort verktøy som skal brukes av datavitenskapere i din virksomhet. Disse inkluderer Radoop fra RapidMiner, IBM Watson, og mange andre.
- Arkitekturen din bør støtte virtualisering. Virtualisering er et viktig element i cloud computing fordi det tillater at flere operativsystemer og applikasjoner kjører samtidig på samme server. På grunn av denne muligheten går virtualisering og cloud computing ofte hånd i hånd. Du kan også oppta en privat sky i arkitekturen din. En privat sky gir samme arkitektur som en offentlig sky, med unntak av at tjenestene i en privat sky er begrenset til et visst antall brukere gjennom en brannmur. Amazon Elastic Computer Cloud er en av de største leverandørene av private sky løsninger og lagringsplass for bedrifter, og kan skalere når de vokser.
- Arkitekturen din må kanskje tilby sanntidsanalyser hvis bedriften din arbeider med raske data (data som strømmer i strømmer med rask hastighet). I et scenario der du vil trenge å vurdere en infrastruktur som kan støtte avledning av innsikt fra data i nær sanntid uten å vente på at data skal skrives til disk. For eksempel kan Apache Sparks streamingbibliotek limes sammen med andre komponenter for å støtte analyser på raske datastrømmer.
- Arkitekturen din bør ta hensyn til Big Data-sikkerheten ved å skape et styringssystem rundt tilgangen til tilgang til data og resultatene. Den store datasikkerhetsarkitekturen bør være i tråd med standard sikkerhetspraksis og retningslinjer i organisasjonen som styrer tilgangen til datakilder.
Hvis du leter etter et robust verktøy for å hjelpe deg med å komme i gang med dataanalyse uten behov for kompetanse i algoritmer og kompleksiteter bak bygging av prediktive modeller, bør du prøve KNIME, RapidMiner eller IBM Watson, blant andre.
De fleste av de foregående verktøyene tilbyr en omfattende, brukervennlig verktøykasse som består av evner som kan komme i gang. For eksempel har RapidMiner et stort antall algoritmer fra forskjellige tilstander i den levedyktige analysemessige livscyklusen, så det gir en enkel måte å raskt kombinere og distribuere analysemodeller.
Med RapidMiner kan du raskt laste inn og forberede dataene dine, lage og evaluere prediktive modeller, bruke dataprosesser i applikasjonene dine og dele dem med dine forretningsbrukere. Med svært få klikk kan du enkelt bygge en enkel forutsigbar analysemodell.
RapidMiner kan brukes av både nybegynnere og eksperter. RapidMiner Studio er en åpen kildekode-predictive analytics-programvare som har et brukervennlig grafisk grensesnitt hvor du kan dra og slippe algoritmer for datainnlasting, dataforhåndsbehandling, prediktive analysealgoritmer og modellevalueringer for å bygge dataanalyseprosessen.
RapidMiner ble bygget for å gi datavitenskapere en omfattende verktøykasse som består av mer enn tusen forskjellige operasjoner og algoritmer. Dataene kan lastes raskt, uavhengig av om datakilden din er i Excel, Access, MS SQL, MySQL, SPSS, Salesforce eller et annet format som støttes av RapidMiner. I tillegg til datainnlasting, prediktiv modellbygging og modellevaluering, gir dette verktøyet også datavisningsverktøy som inkluderer justerbare selvorganiserende kart og 3-D-grafer.
RapidMiner tilbyr et åpent program for programmeringsgrensesnitt (API) som lar deg integrere dine egne algoritmer i alle rørledninger som er bygd i RapidMiner. Den er også kompatibel med mange plattformer og kan kjøre på store operativsystemer. Det er et fremvoksende nettbasert fellesskap av datavitenskapere som bruker RapidMiner hvor de kan dele sine prosesser, og spørre og svare på spørsmål.
Et annet brukervennlig verktøy som er mye brukt i analyseverdenen, er KNIME. KNIME står for Konstanz Information Miner. Det er en åpen kildekode dataanalyse som kan hjelpe deg med å bygge prediktive modeller gjennom et data pipelining-konsept. Verktøyet tilbyr drag-og-slipp-komponenter for ETL (utvinning, transformasjon og lasting) og komponenter for prediktiv modellering samt datavisualisering.
KNIME og RapidMiner er verktøy som du kan forankre datavitenskapsteamet ditt, for lett å komme i gang med å bygge prediktive modeller. For et utmerket brukstilfelle på KNIME, sjekk ut papiret "The Seven Techniques for Dimensionality Reduction. "
RapidMiner Radoop er et produkt av RapidMiner som utvider predictive analytics verktøykasse på RapidMiner Studio for å kjøre på Hadoop og Spark-miljøer.Radoop encapsulates MapReduce, Pig, Mahout og Gnist. Etter at du har definert arbeidsflytene dine på Radoop, blir instruksjonene utført i Hadoop eller Spark-miljøet, så du trenger ikke å programmere prediktive modeller, men fokuserer på modellevaluering og utvikling av nye modeller.
For sikkerhet støtter Radoop Kerberos-autentisering og integreres med Apache Ranger og Apache Sentry.
