Hvordan du søker dine forutsigende Analytics-data - dummies

For å utnytte din forutsigbare analysedata du trenger å vite hvordan du finner informasjonen du vil finne. Det er to hovedkonsepter å søke på dataene dine i forberedelse for å bruke det i prediktiv analyse:

• Gjør deg klar til å gå utover det grunnleggende søkeordssøket

• Gjør dataene dine semantisk søkbare

Slik bruker du søkeordbasert søk i prediktiv analyse

Tenk deg om du var opptatt av å søke store mengder data. En måte å nærme seg problemet på er å utstede et søk som består av (tydeligvis) ord. Søkeverktøyet ser etter matchende ord i databasen, datalageret, eller går gjennom en tekst som inneholder dataene dine.

Anta at du utsteder følgende søk: Presidenten av USA besøker Afrika . Søkeresultatene vil bestå av tekst som inneholder nøyaktig en eller en kombinasjon av ordene President, USA, besøk, Afrika . Du kan få den nøyaktige informasjonen du leter etter, men ikke alltid.

Hva med dokumenter som ikke inneholder noen av de tidligere nevnte ordene, men en kombinasjon av følgende: Obamas tur til Kenya .

Ingen av ordene du opprinnelig søkte på er der - men søkeresultatene er semantisk (meningsfullt) nyttig. Hvordan kan du forberede dataene dine til å være semantisk hentbare? Hvordan kan du gå utover det tradisjonelle søkeordssøket? Svarene dine er funnet hvis du fortsetter å lese.

Hvordan bruke semantisk baserte søk i prediktiv analyse

En illustrasjon av hvordan semantisk-basert søk fungerer, er et prosjekt som Anasse Bari ledet i Verdensbanken, en internasjonal organisasjon som har hovedoppgave er å bekjempe fattigdom rundt om i verden.

Prosjektet har som formål å undersøke eksisterende storskala virksomhetssøk og -analyse i markedet og bygge en prototype for et banebrytende rammeverk som ville organisere data fra Verdensbanken, hvorav de fleste var en ustrukturert samling av dokumenter, publikasjoner, prosjektrapporter, trender og casestudier.

Denne massive verdifulle kunnskapen er en ressurs brukt til bankens hovedoppgave å redusere verdens fattigdom. Men det faktum at det er ustrukturert gjør det vanskelig å få tilgang til, fange, dele, forstå, søke, data-mine og visualisere.

Verdensbanken er en enorm organisasjon, med mange avdelinger over hele verden. En av hoveddivisjonene forsøkte å ha et rammeverk og var klar til å tildele ressurser for å bistå Bari-teamet. Det var Human Development Network i Verdensbanken.

Vice presidenten for Human Development Network skisserte et problem som stod for tvetydighet: Hans divisjon brukte flere begreper og begreper som hadde samme generelle betydning, men forskjellige nyanser.

For eksempel var begreper som klimatologi, klimaendringer, gass ozonutslipp, og klimagassutslipp alle semantisk relaterte, men ikke identiske i betydningen. Han ville ha en søkemulighet som er smart nok til å trekke ut dokumenter som inneholdt relaterte konsepter når noen søkte noen av disse vilkårene.

Rammen for prototypen for den kapasiteten som Bari-teamet valgte, var U-strukturert informasjonsstyringsarkitektur (UIMA), en programvarebasert løsning. Opprinnelig designet av IBM Research, er UIMA tilgjengelig i IBM-programvare som IBM Content Analytics, et av verktøyene som drev IBM Watson, den berømte datamaskinen som vant Jeopardy-spillet.

Bari-teamet sluttet seg sammen med et talentfullt team fra IBM Content Management og Enterprise Search, og senere med et IBM Watson-team, for å samarbeide om dette prosjektet.

En løsning for ustrukturert informasjon (UIM) er et programvaresystem som analyserer store mengder ustrukturert informasjon (tekst, lyd, video, bilder osv.) For å oppdage, organisere og levere relevant kunnskap til klienten eller søknaden sluttbrukeren.

Den ontologi av et domene er en rekke konsepter og relaterte termer som er spesielle for et domene. En UIMA-basert løsning benytter ontologier for å gi semantisk merking, noe som gjør det mulig å søke søket uavhengig av dataformat (tekst, tale, PowerPoint-presentasjon, e-post, video og så videre). UIMA legger til et annet lag i de oppfangne ​​dataene, og legger deretter til metadata for å identifisere data som kan struktureres og søkes semantisk.

Semantisk søk ​​ er basert på den kontekstuelle betydningen av søkeord som de vises i den søkbare datarommet som UIMA bygger. Semantisk søk ​​er mer nøyaktig enn det vanlige søkeordbaserte søket fordi en brukerforespørsel returnerer søkeresultater av ikke bare dokumenter som inneholder søkeordene, men også av dokumenter som er semantisk relevante for spørringen.

Hvis du søker etter biologisk mangfold i Afrika , vil et typisk søkeordbasert søk returnere dokumenter som har de nøyaktige ordene biodiversitet og Afrika . Et UIMA-basert semantisk søk ​​returnerer ikke bare dokumentene som har disse to ordene, men også alt som er semantisk relevant for "biologisk mangfold i Afrika" -dokumenter som inneholder slike kombinasjoner av ord som "plante ressurser i Afrika", "dyre ressurser i Marokko "eller" genetiske ressurser i Zimbabwe. "

Gjennom semantisk merking og bruk av ontologier blir informasjon semantisk gjenvinnelig, uavhengig av språket eller mediet der informasjonen ble opprettet (Word, PowerPoint, e-post, video, og så videre). Denne løsningen gir et enkelt hub hvor data kan fanges, organiseres, byttes og gjengis semantisk gjenvinnbart.

Ordbøker av synonymer og relaterte termer er åpen kildekode (fritt tilgjengelig) - eller du kan utvikle dine egne ordbøker som er spesifikke for ditt domene eller dine data. Du kan bygge et regneark med rotordet og tilhørende relaterte ord, synonymer og bredere vilkår. Regnearket kan lastes opp i et søkeverktøy som IBM Content Analytics (ICA) for å drive bedriftens søk og innholdsanalyse.