Data som känns

Vi ser med ögonen, hör med öronen och känner med händerna. Genom våra sinnen skaffar vi oss information om omvärlden. Sedan länge kan vi också få information via bildskärmar och högtalare, genom ljus och ljud som direktöverförs eller finns lagrat sedan tidigare. För snart tjugo år sedan påbörjades utvecklingen av utrustning som ska göra det möjligt att även få lagrad information av det slag som vi får genom händerna – det som oftast kallats känseln.

Denna utveckling kan få betydelse på många områden, till exempel medicinsk utbildning, upplevelse av konstverk på museer, hjälpmedel för synskadade, upplevelser av föremål på nätet och arbete med design.

Haptisk perception

När man talar om känsel tänker man vanligen på huden, men det är bara en del av sanningen. Även muskler, senor och leder har flera typer av celler som är grunden för det kinestetiska sinnet – det sinne som berättar om våra egna rörelser. En allt oftare använd term för kombinationen av känseln och det kinestetiska sinnet är haptik eller det haptiska sinnet (från det grekiska ordet för att röra). Den information som vi får från detta sinne kallas då haptisk perception.

De utrustningar som ska ge oss haptisk information kallas haptiska displayer. De har vissa likheter med en datormus: med en datormus kan man röra sig i den värld som avbildas på datorskärmen, medan en haptisk display är mer avancerad. En vanlig variant består av en liten robot försedd med en flerledad arm som mynnar ut i något som liknar en penna. Användaren gör rörelser med pennan, och pennspetsens läge i datorns virtuella (skenbara) värld registreras av datorn. Om spetsen ”kolliderar” med föremål inom displayens arbetsområde gör pennan motstånd mot rörelsen på i princip samma sätt som motsvarande verkliga föremål skulle göra. Motståndskraften kan vi uppleva genom trycket mot huden och motståndet mot våra rörelser. I stället för en penna förekommer också andra avslutningar på armen, till exempel något som liknar en fingerborg som man sticker in ett finger i.

Haptiska displayer ger en mängd information som är viktig för att orientera sig i den virtuella miljön och för att kunna utföra de handlingar man önskar. Man kan till exempel utforska föremåls form, storlek och placering, men också egenskaper som hårdhet, friktion, vikt och ytstruktur.

Man kan känna av ytstrukturen genom att föra en haptisk display längs med ytan – som att skrapa mot den med en pinne. I experiment har virtuella sandpapper konstruerats med hjälp av en haptisk display, och det visade sig gå ungefär lika bra att bedöma grovleken på virtuella som på naturliga sandpapper.

För att känna ytans hårdhet pressar man pennspetsen mot den, medan vikten utforskas genom att man lyfter objektet med pennspetsen. Formen hos ett föremål kan man bedöma genom att med pennspetsen avsöka dess konturer, men inte med samma effektivitet som när man ska tolka ytegenskaper. Enkla former går ganska bra, men det blir allt svårare ju mer komplicerade formerna är.

Användning inom medicin

Ett område där haptiska displayer kommer till användning är träning för blivande veterinärer. En veterinärelev behöver lära sig att göra undersökningar på levande djur, men om man är ovan finns det en risk att man skadar djuret. Med en haptisk display kan eleverna träna i virtuella situationer, där inget skadas om man gör fel.

Tyvärr är det svårt att få en överblick över en scen med enbart haptisk perception, både i den verkliga och i den virtuella världen. Ofta kompletterar man därför den haptiska informationen med visuell information på en bildskärm. På bildskärmen får man översikt och uppfattar former bättre; med den haptiska displayen kan man som nämnts få en bättre uppfattning om ytors egenskaper, som textur och hårdhet. Ibland använder man också ljud för att göra vissa aspekter tydliga, till exempel namn på en virtuell karta, vilket kan vara användbart för synskadade.

Liksom blivande veterinärer behöver läkarstuderande få träna utan risk att skada någon. För att träningen ska vara realistisk måste den haptiska displayen ge korrekt information om kroppens vävnader. Programvara har också utvecklats för mer komplicerade provtagningar, liksom hårdvara för olika medicinska situationer, till exempel titthålskirurgi. En haptisk display kan också vara ett hjälpmedel vid tolkning av medicinska bilder.

Ännu en tillämpning inom sjukvården är så kallad telemedicin, där man genomför undersökningar och operationer på långa avstånd. I en situation när medicinsk expertis befinner sig på annan plats kan läkaren ha en haptisk display kopplad till en haptisk display hos patienten. När läkaren utför rörelser gör displayen hos patienten samma rörelser, och läkaren kan med sin display få den information som patientens display samlar in. Läkaren kan också överföra kirurgiska och andra ingrepp från sin display till patientens. Många av dessa medicinska tillämpningar är mycket komplicerade, och det återstår en hel del utvecklingsarbete.

Virtuellt museum

Statyer och andra konstverk är ett annat exempel på hur människans haptiska sinne kan användas tillsammans med synen. Besökare på museer är oftast bara tillåtna att se på konstverk. De flesta museer tilllåter inte att man rör konstverken, eftersom det kan skada dem.

Ett EU-projekt har utvecklat en haptisk display som tillsammans med en bildskärm gör att man både kan se och känna på konstverk. Man 3D-skannar en staty, lagrar resultatet på datorfiler och skickar dem via internet. Filerna ingår sedan i ett virtuellt museum och kan användas för att skapa både visuella och haptiska kopior av konstverken var som helst där man har rätt utrustning.

Vid en utvärdering på flera europeiska museer, bland annat Nationalmuseum i Stockholm, framgick att många besökare uppskattar att få uppleva statyer med flera sinnen. För synskadade är det den enda möjligheten till en egen upplevelse av en staty som inte får beröras.

Någon europeisk eller nationell organisation för ett virtuellt museum finns ännu inte, och det återstår en hel del utvecklingsarbete för att få den haptiska displayen att fungera tillräckligt bra.

I andra pedagogiska sammanhang pågår också utveckling av haptiska hjälpmedel, bland annat för undervisning av synskadade där seende och synskadade samarbetar kring en gemensam haptisk display.

Kontaktpunkter och kontaktytor

Även om de haptiska displayer som har utvecklats är användbara i flera sammanhang, kan de inte på långa vägar utnyttja det haptiska sinnets alla möjligheter. I verkliga livet får vi vanligen haptisk information, från utsträckta ytor som vi känner av med fingertoppar och handflator inte från enstaka punkter. Dessa utsträckta ytor har visat sig ha stor betydelse för våra upplevelser.

De haptiska displayerna är välutvecklade när det gäller det motstånd som föremål gör vid avsökning, men det görs i de flesta fall bara i en punkt. Det kan jämföras med att undersöka verkligheten med en liten pinne i handen, som man petar eller skrapar på föremål med. Haptiska displayer med flera kontaktpunkter har utvecklats. Forskning har dock visat att redan två punkter ger en viss förbättring av upplevelsen, medan tre eller fler punkter inte innebär någon större ytterligare förbättring. Den viktigaste förbättringen skulle vara att öka storleken på kontaktytan.

De haptiska displayer med utsträckta kontaktytor som hittills tagits fram består – med något undantag – av en matris av stift som kan simulera konturer och ytegenskaper hos föremål.

Ett försök har gjorts att ge en haptisk upplevelse av så komplicerade föremål som tyger – med deras töjbarhet, böjningsegenskaper, ytegenskaper och vikt. För att göra upplevelsen realistisk måste man kunna simulera dessa fysiska egenskaper hos tygerna. Det har blivit möjligt genom noggrann analys av dessa egenskaper och motsvarande utveckling av mjukvara. Den haptiska displayen med stiftmatris och robotarm kombineras med en datorskärm för att ge en realistisk upplevelse av tygerna.

Men handen är inte bara ett organ för att få information. Med handen utför vi rörelser av många slag, till exempel för att påverka formen på föremål. Kombinationen av perception och handling är grundläggande för alla sinnen men särskilt uppenbar när det gäller haptik. Också för sådana funktioner kan haptiska displayer användas. Det finns särskild mjukvara för haptiska displayer som gör det möjligt att utforma godtyckliga virtuella föremål, inklusive konstföremål, på ett sätt som liknar att forma föremål i till exempel lera.

I ett aktuellt forskningsprojekt kombineras möjligheten att påverka virtuella föremål med utsträckta displayer genom en ny typ av haptisk display. Det nya med denna display är att den inte består av en matris av stift, utan av en formbar fysisk list. Listen avbildar en linje på ytan av det virtuella föremålet, som då kan både avsökas och förändras med handen. Designern kan också se det virtuella föremålet på en bildskärm. Med en sådan display behöver man inte tillverka ett verkligt föremål att känna på och modifiera.