AI IN LIBRARY

CHATBOTEN BIBBI

Inntroduksjon til prosjektet.

AI in library var et studieprosjekt i faget INF2260 knyttet til Universitetet i Oslo sitt hovedprosjekt “Kunstig intelligens i biblioteket” som var ledet av Håvard Riis. Hensikten med prosjektet var å utforske hvorvidt AI kan påvirke/forbedre de allerede eksisterende tjenestene ved biblioteket og de besøkendes opplevelse av disse.

Til det formålet ble vårt forskningspørsmål: “ Vil AI ha en negativ eller positiv innvirkning på brukernes opplevelse av biblioteket, og hvilke konkretet bruksområder vil AI kunne støtte opp under?”

For å svare på forskningsspørsmålet utviklet vi, i sammarbeid med Convertelligence, den begrensede chatboten Bibbi som skulle hjelpe besøkende ved HumSam biblioteket å navigere seg fram til en ønsket bok.

Rolle: Design research, datainnsamling, konseptutvikling, prototyping, analyse, brukertesting, pitching, workshop og evaluering.

Gruppemedlemmer: Ida Jasmin Kalfoss, Live Nordli, Helle Kyseth Heiestad og Caroline Janes (meg).

Intern kontakt: Diana Saplacan.

Eksterne kontakter: Ahmed Mohammed, Andrea Gasparini og Håvard Riis.

Andre sammarbeidspartnere: Universitetsbiblioteket i Oslo(UB), Nasjonalbiblioteket (NB), HumSam biblioteket ved UiO og Convertelligence

Tidsrom: Høsten 2017 (ca 6 mnd.)

BAKGRUNN.

Utgangspunktet for prosjektet var å undersøke mulige bruksområder for AI i en bibiliotekskontekst. Vårt formål ble derfor å utforske Universitetsbiblioteket som tjeneste, hvordan det oppleves av brukerne og oppdage potensielle bruksområder der AI kan implementeres., fremfor å vektlegge utforme en endelig løsning.

Ettersom opplevelse var et nøkkelbegrep for prosjektet ble det nødvendig med en fungerende prototype med implementert AI for å kartlegge dette.

PROSESSEN.

Vi landet på Design Thinking som metodologi for designprosessen da vi anså den som godt egnet til prosjektets store omfang, samt behovet vårt for å forstå brukere i bibilotekskonteksten og produserer mange prototyper på kort tid.

FORSTÅ BRUKEN.

Det første steget for å forstå den nåværende bruken av biblioiteket var et eget besøk av Informatikkbiblioteket i Ole Johan Dahls Hus(IFI) og HumSam biblioteket.

Vi gjennomførte deretter to intervjuer med bibliotekarer fra HumSam og IFI for å kartlegge:

Bibliotekarenes arbeidsrolle.
Opplevelse av de besøkende og eventuelle utfordringer i møte med disse.
De forskjellige tjenestene.
Potensielle bruksområder for AI.

Vi benyttet metoden Grounded Theory til å analysere dataene fra intervjuene og gjennom videre koding og kategorisering kom vi fram til fire overordnede temaer for videre utforskning;

Navigasjon
Printing
Digitale tjenester
Formidling av tjenester.

For å styrke validiteten av funnene våre gjenommførte vi en survey på HumSam biblioteket for å kartlegge hvordan besøkendne faktisk brukte biblioteket, samt deres opplevelse av tjenestene.

Resultatene fra surveyen bekreftet funnene fra intervjuene om at skranken, Oria (digital søkemotor) og printing er områder som brukes aktivt. Et annet viktig funn var at 77% av de som søkte etter bok benyttet seg av den digitale tjenesten Oria fremfor skranken.

TILSPISSING AV FOKUSOMRÅDET.

For å grave dypere i hvordan eller hvorfor målgruppens (besøkende ved biblioteket) handlingsmønster var slik resultatene fra intervju og survey indikerte gjennomførte vi tre flue-på-veggen observasjoner på HumSam. Vi oppdaget at flertallet av hendvendelsene til skranken var knyttet til utfordringer med å låne eller finne bok i Oria.

Derfor landet vi på navigasjon i biblioteket som vårt endelige forskningsområde.

Til nå hadde vi fått en god forståelse av hvordan målgruppen benyttet bibliotekets tjenester, men ikke nok om hvorfor. Derfor holdt vi yttligere en obervasjonsrunde med en think-aloud tilnærming for innsikt i deltagernes tankeprosess og begrunning.

Innsikten vi fikk her viste at Oria ofte var problematisk å navigere seg fram i, men at brukerne likevel foretrakk å finne fram på egenhånd fremfor skranken.

“Jeg vil helst finne ut av ting selv uten å måtte plage de i som sitter bak skranken” - deltager A

“Jeg har ikke lyst til å spørre om hjelp i skranken fordi jeg liker å finne ut av ting selv” - deltager B

“Jeg følte meg dum når personen bak skranken søkte på Oria og sa at jeg kan gjøre det samme selv” - deltager C

UTVKLING AV IDEER.

Navigasjon i biblioteket omhandlet både:

Brukerens fysiske forflytning innad i biblioteket.
Brukerens digitale orientering i digitale informasjonstjenester.

Begge disse navigasjonsformene ble derfor aktuelle fokusområder for prototypen.

For å sette i gang idéutvklingsprossessen for videre prototyping holdt vi en workshop med deltagere med bakgrunn fra psykologi, teater/musikk, administrasjon, teknologisk utvikling, fysikk og interaksjonsdesign. Gjennom oppgaver som Worst possible idea, 635-method, skissing og modellering av prototyper kom det fram en rekke ideer som ble satt sammen til enkle prototyper.

TILSPISSING AV IDEENE.

Fra resultatene så langt i designprosessen utformet vi en idé om å kombinere to enheter for interaksjonen; en stasjonær - og en tilhørende mobilenhet.

Den stasjonære enheten ville ha et touch-basert grensesnitt med hensikt å hjelpe brukeren av systemet til å lokalisere en gitt bok basert på søk i bibliotekets digitale databaser (digital orientering). Informasjonen om bokens beliggenhet ville så bli sendt i form av et kart til brukerens personlige mobilenhet (fysisk navigasjon).

Vi ønsket å benytte oss av denne kombinasjonen i protoypen, og dermed ble neste steg å undersøke muligheter for en chatbot.

SAMARBEID MED CONVERTELLIGENCE.

Det å utvikle en egen chatbot med implementert AI lå utenfor vårt kompetanseområde og derfor var det nødvendig å benytte seg av et allerede eksisterende alternativ. Valget falt på Convertelligence, en gründergruppe som holdt til i Forskningsparken, og deres plattform Kindly.Ai. Kindly forstår språkteknologien og kan gjenkjenne setninger med ulike formuleringer basert på nok data, og i vårt tilfelle var denne plattformen mer en tilstrekkelig for å kartlegge AI sin funksjon for navigering i biblioteket.

BIBBI BLIR TIL.

Forskning har vist at personifisering av chatbot kan ha en direkte påvirkning på brukeropplevelsen, og at jo mer tilpasset personligheten til chatboten er målgruppen for systemet jo mer pålitelig oppfattes den. Ettersom vår målgruppen i hovedsak er i alderspennet 20-35 år valgte vi et muntlig, men informativt språk. En av Convertelligence sine språkutviklere presiserte også nytteverdien av en ydmyk chatbot som fra begynnelsen understreker at den er ny og derfor ikke kan alt helt enda.

Chatboten ble døpt Bibbi, et navn som er lett å uttale uavhengig av språkkunnskaper. Vi ønsket samtidig å personifisere utseendet til chatboten.

Fire variasjoner av ikoner ble derfor utformet;

En eldre dame.
En ung kvinne
En klassisk robot
En ugle.

Disse tok vi med videre til brukbarhetstesting for å kartlegge hvordan de ulike ikonene påvirket inntrykket av chatboten.

FERDIGSTILLING AV BIBBI.

Før vi kunne inkludere brukere i testfasen gjennomførte vi en ekspertbasert testing med eksperter innenfor interaksjonsdesign, chatbotteknologi og -dialogutvikling. Hensikten var å velge ikon, forbedre dialogen med chatboten, kritikk av grensesnittet, samt luke ut åpenbare interface flaws.

Resultatet fra testen:

Ikonet med den unge kvinnen hadde en marginal preferanse hos ekspertene.
ekspertenen formulerte spørrigene sine ulikt noe som gav god forbedring av dialogen.
utformingen av dialogen ble inspirert av en klassiks chat-utforming med snakkebobler og små ikoner.

For å yttligere teste dialogen med chatboten og implenemtere en enda bredere språkforståelse gjennomførte vi nå en brukerbasert testing med 10 deltagere.

Resultatet fra testen:

Avdekket en rekke tilfeller der chatboten ikke forstod formuleringer av spørmål fra testen.

Dette ble rettet før videre testing.

BIBBI; CHATBOT OG WIREFRAME.

Den endelige prototypen ble utformet i to formater; en vertikal prototype med en fungerende chatbot implementert, og en horisontal prototype utformet som Wireframe.

Det vertikale formatet vektlegger interaksjonen mellom bruker og bot gjennom tekstlig kommunikasjon da denne hovedsaklig består av en første-side og en dialog side der bruker kan føre en samtale med Bibbi. Bibbi kan svare på ulike fomuleringer av vanlige fraser, henvendelser tilknyttet bibliotekets tjenester og spørsmål anngående en spesifik bok (Hjernen er stjernen av Kaja Nordegen).

Grunnet tidsbegrensninger hadde denne prototypen kun deler av den tiltenkte utformingen, men kombinert med den horisontale Wireframe prototypen fikk vi fremstilt hele det tiltenkte designet. Ettersom hensikten med utviklingen av en prototype var å bruke den til å undersøke forskningsspørsmålet om hvorvidt AI kan brukes i bibliotek, ble implementasjonen av Bibbi sine kunnskaper begrenset til å kunne mye om et konkret område fremfor litt om mer.

EVALUERING.

Bibbi var nå klar for en mer omfattende runde brukertesting. Formålet med evauleringen var å validere funnene fra tidligere i prossessen, samt å konkret undersøke forskningsspørsmålet vårt; vil AI ha en negativ eller positiv innvirkning på brukernes opplevelse av bibilioteket, og hvilke konkrete bruksområder vil AI kunne støtte opp under?

Vi gjennomførte så vår siste runde brukertesting. Først et pilotstudie for å avdekke eventuelle last-minute feil eller - problemer, deretter en større og deretter den faktiske brukertestingen; begge satt i natulige omgivelser i HumSam biblioteket.

Evalueringen var et ikke-eksperiment med within-group design som foregikk slik: Evalueringen skulle undersøke brukerens opplevelse av interaksjonen med skranken, beta versjonen av Oria og Bibbi. Det forgikk ved at deltageren vurderte hver enkelt tjeneste separat ved å utføre et søk etter en bok og deretter svarte på et spørreskjema som omhandlet opplevelsen av å finne fram til denne informasjonen. Ikke-eksperimentet var to-delt der første del gikk ut på å gjennomføre søket etter en bok med hjelp av skranken, Oria og Bibbi. Dataene satte vi etterkant opp mot hverandre for å undersøke om brukeren opplever en forskjell i de tre tjenestene. Etter hver fullførte oppgave for en tjeneste svarte deltagerne på et spørreskjema der opplevelsen av å finne fram til den gitte boken ved den gitt tjenesten skulle rangeres på en likert skala mellom 1-5. Etterpå besvarte deltagerne et oppsummeringsspørreskjema for å rangere den totale opplevelsen, samt spørsmål om hvilken tjeneste de ville benyttet ved neste besøk og et kvalitativt spørsmål om å begrunne hvorfor de valgte denne.

For å avdekke om det totale inntrykket ble påvirket av grensesnittet fikk deltagerne også teste Wireframe prototypen. Denne ble presentert på en Ipad sånn at deltagerne kunne trykke seg gjennom det tenkte stegene før de besvarte spørsmål om i hvilken grad denne utformingen ville påvirket den helhetlige opplevelsen av chatboten. I spørreskjema var det yttligere to spørsmål; det ene om hvordan de stiller seg til å ha en chatbot som tilleggstjeneste i biblioteket (sammen med skranken og Oria) , og det andre om hvordan de stiller seg til å ha chatbot som eneste tjeneste (uten skranken og Oria).

RESULTATET FRA BRUKERTESTINGEN.

“Med Bibbi jeg å «ta» av noens tid og jeg opplevde Bibbi som like hjelpsom som skranken” - deltager 7

Resultatene kan sees i diagrammene og skjemaet over, men de mest relevante funnene var:

Opplevelsen av Bibbi var markant bedre enn Oria, og litt bedre enn Skranken.
Deltagere ville foretrukket å benytte seg av Bibbi fremfor skranken eller Oria ved neste biblioteksbesøk. (linje 11)
Ved å sammenligne gjennomsnittet for linjenummer 4 med 1, 5 med 2 og 6 med 3 ser vi at det er en sammenheng mellom tilegnelse av informasjon og den totale opplevelsen av den gitte tjenesten. Dermed kunne vi forkaste begge nullhypotesene.
Deltagere var positive til chatbot som tileggstjeneste, men negative til chatbot som eneste informasjonstjeneste i biblioteket. (linje 8 og 9 )
Wireframe testen viste at det uffulstendige grensesnittet ikke hadde relevans for opplevelsen av Bibbi (linje 7)

Noen refleksjoner rundt funnene.

Chatboten ble presentert til slutt, da flere opplevd misnøye med Oria rett før kan dette ha resultert i at opplevelsen av Bibbi ble positivt påvirket.

Beta versjonen av Oria var fremdeles underutvikling på tisdpunktet for prosjekete. En ufullstendig tjeneste kan ha påvirket opplevelsen negativt.

KONKLUSJON OG ERFARINGER.

Ettersom prosjektet hadde begrenset omfang, - tid og tilstrekkelig utvalg av målgruppen i siste brukertesting (12 stk) kunne det diskuteres om det var mulig å trekke en konkret konklusjon om det overordnede forskningsspørsmålet. Vi kunne derimot se noen tydelige indikasjoner som var relevante:

AI i form av en chatbot hadde en mulig rolle som informasjonstjeneste i biblioteket.

Dataene fra innsammlingsprossen indikerte digitale tjenester som foretrukket søkemotor, og at ønske om å finne ting på egenhånd er stort nok til å benytte seg av tjenester som vakte misnøye eller frustrasjon.
En chatbot virket ikke avskrekkende på brukere noen som gir grunn til å utforske flere muligheter for AI i en bibliotekskontekst.
.

Til bemerkning så var ikke bruken av AI ved prosjektets tidspunkt ikke like utbredt som den er i dag så noen av konklusjonene er relativt åpenbare i dagens samfunn.

Noen erfaringer fra dette prosjektet:

Ha fokus på problemet du skal løse: Det var lett å bli revet med i idemyldringsprosessen og alle de potensielle spennende løsningene man kunne lage, men ved å hele tiden jevnlig gå tilbake til forskningspørmålet ble det lettere å forsikre seg om at den faktiske løsningen svarte på problemet.
Ikke undervurder gevinsten av godt sammarbeid: Det var veldig motiverende å se hvordan det å disuktere ideere og løsninger med de andre gruppemedlemmene gjorde at resultatene ble så mye bedre.
Ikke la kompleksitet skremme deg: Ved starten av prosjektet virket både oppgaven og omfanget ganske komplekst og uhåndterbart, men gjennom datainnsamlingsprosessen og videre i designprosessen falt ting mer og mer på plass.