Motion capture-tekniken har varit omtalad inom film- och nöjesbranschen. Men den är också på väg att flytta utomhus och kopplas till globala positionssystem och användning vid forskning och i militära sammanhang.
Abba gör comeback med hjälp av tekniken. På samma sätt fick filmen Avatar stor uppmärksamhet när metoden användes där för över tio år sedan. Men utvecklingen inom motion capture, eller mo-cap som det ibland kallas, har inte stått still. I korthet handlar grundtekniken om ett system av kameror och markörer – markörerna klistras på kroppsdelar eller andra objekt som kan följas av kamerorna – och utifrån det skapas en tredimensionell inspelning.

Och tekniken har fått uppmärksamhet i just nöjes-, film- och dataspelsbranschen. Men den används också inom produktutveckling och forskning. I det senare fallet bland annat i den tvärdisciplinära verksamheten vid Humanistlaboratoriet vid Lunds universitet. Föreståndare för anläggningen är Marianne Gullberg, professor i psykolingvistik, och hon ger ett exempel på användning.

– När arkeologer hittar något som liknar ett svärd vid sidan av mänskliga kvarlevor kan de vara intresserade av att veta hur stor någon behövde vara för att orka svinga svärdet och åsamka en viss skada. Genom att bygga en kopia av svärdet och låta en person svinga det och mo-capa rörelsen så går det analysera hur axelbred användaren kan tänkas ha varit, säger Gullberg.

Men det är inte bara arkeologer som har nytta av tekniken. Även vid språk- och beteendeforskning används den.
– Jag vill gärna sätta markörer på folk när de talar och gestikulerar så att jag kan få en precis bild över hur rörelsemönster ser ut i förhållande till tal, säger Gullberg.

Italienare vs svenskar – vem gestikulerar mest
– Det finns föreställningar om hur svenskar rör sig och gestikulerar jämfört med italienare till exempel. Men om man gör en mo-cap-inspelning av en italienare och en svensk så ges väldigt precisa uppgifter kring hur mycket de rör sig, hur stora gesterna är och hur snabba gesterna är. Vi får en mycket mer detaljerad bild av något där folk bara tycker en massa saker, och det vill vi gärna kvantifiera och räkna på. Då får vi lite mer konkreta uppgifter, säger Gullberg, som tillägger att resultatet av den forskningen är att ju mer upphetsad en person är, desto mer gestikulerar personen. Och det gäller svenskar precis lika mycket som italienare.

– Om man talar med väldigt stark röst så är ofta gesterna också mycket intensivare och det gäller också både svenskar och italienare, säger Gullberg.

Var ligger då framkanten när det gäller motion capture-teknik idag? Ja, enligt professor Gullberg handlar mycket just nu om att få till inspelningar där detaljer syns väl. Till exempel fungerar tekniken bra för att studera hur en hand rör sig i relation till övriga kroppen. Men det är svårare att studera detaljer, som hur ett finger rör sig i förhållande till ett annat. Ännu svårare är det att studera ansiktsuttryck.
– Så att komma åt detaljerna i rörelsemönster, det är väl egentligen det som är den riktigt stora utmaningen för närvarande, säger Gullberg.

Ett sätt att försöka lösa de här svårigheterna går ut på att kombinera motion capture med högupplöst video. Till det kommer också användandet av artificiell intelligens och maskininlärning.
– Det är framkanten, en kombinationen av motion capture och artificiell intelligens när det gäller just ansiktsigenkänning, säger Marianne Gullberg.

En annan aspekt som nu kommer handlar om intresset för att kunna fastställa var ovan nämnda markörer finns i förhållande till en geografisk punkt. Tidigare har fokus främst varit på var markörerna finns i förhållande till varandra. Kopplat till den här utvecklingen bedöms också mo-cap-systemen utvecklas mot att bli mer mobila och på sikt också fungera allt bättre i utomhusmiljö.

Från OS-medaljer till militära drönare
Hur motion capture kan användas inom försvar och säkerhet är något som har diskuterats under ett antal år. Och som exempel finns uppgifter om att brittiska armén sätter tekniken i samband med utbildning och tredimensionell visualisering. Och det är ett användningsområde som också professor Gullberg bedömer som troligt.
– Det som ligger nära till hands att tänka sig är en kombination av motion capture och virtuell verklighet för att skapa övningssituationer. Man kan tänka sig en inspelning där någon rör sig på ett aggressivt sätt, och sedan rör sig samma individ på ett mer undfallande sätt, och sedan stoppas det in i en miljö och där kan säkerhetspersonal öva på hur detta ska bemötas, säger Marianne Gullberg.

Ett bolag i Sverige som arbetar med teknik för motion capture är Qualisys som utvecklar egna digitala kameror och egen programvara för att göra 3d-rekonstruktioner.
– Vi kan mäta under väldigt svåra förhållanden, under vatten, utomhus och vi kan göra mätningar där det finns kraftiga magnetfält, säger Fredrik Müller, chief strategy officer på Qualisys.

Enligt Müller finns det flera olika utvecklingsspår inom motion capture för närvarande. Något som flera aktörer tittar på är om det går att använda motion capture utan de markörer som idag sätts på de objekt som ska mätas. I det fallet studeras om det går att göra rekonstruktioner utifrån råvideodata. Och här nämner Müller att det finns intresse att mäta hur elitidrottare rör sig under pågående tävlingar, som under ett VM eller ett OS.
– Det går ju inte att sätta mätpunkter på människor när de tävlar. Men ur ett forskningsperspektiv får man inte alltid samma rörelsemönster under kontrollerade labbförhållanden som i en tävlingssituation, säger Müller, som en förklaring varför möjligheten nu efterfrågas.

En annan fråga som länge varit närvarande när det gäller utvecklingen av motion capture-system är dess kapacitet utomhus.
– Det är inte lätt att mäta utomhus men vi har tekniska lösningar för att göra det bättre och idag har vi lösningar som används utomhus. Vi har haft några case när det gäller drönarutveckling som är kopplade till militära tillämpningar där det finns önskemål att kunna mäta på drönarna när de flyger utomhus i en ganska stor mätvolym, säger Müller.

Och här tar han också upp att det finns ett ökat intresse för att se var markörerna finns i ett geografiskt perspektiv.
– Ja, det tror jag har att göra med de militära tillämpningarna, säger Müller.
– När det gäller träning och simuleringar för säkerhetstillämpningar – det har vi gjort ganska långt tillbaka i tiden i vr-miljö (virtual reality) – men då har det varit i en ganska begränsad mätvolym, i labbmiljö. Nu skulle det kunna kopplas det till en global gps-koordinat och man gör mo-cap inom en relativt stor yta, låt säga 100 gånger 60 meter, och människor kanske rör sig i det området och då kanske man vill koppla det till var det är på ett övergripande plan, säger Müller.

Men Müller ser fler tänkbara militära användningsområden.
– Jag tror kanske framför allt på att utveckla och validera kontrollalgoritmen hos drönare och för att testa styr- och regleralgoritmerna under kontrollerade förhållanden vid utveckling av undervattensfarkoster, säger Müller.

På sikt tror Müller också att mätningar liknande de som görs på elitidrottare kommer att kunna ske på militär personal. Det skulle kunna vara hur en soldats uthållighet och rörelse är kopplat till extern utrustning som ryggsäck och liknande.
Och så även inom träning och simulering.
– Det har pratats under många år om att använda spelmotorer och göra varianter av spelmotorer som kan användas för olika scenarier kring hur soldater agerar. Skillnaden nu jämfört med för tio år sedan är att saker kan göras mer realistiskt och med bättre grafik. Det är inte nytt men förfinat och förbättrat och det görs av många på den militära sidan idag, säger Fredrik Müller.

Användning i metaverse
Generellt tror professor Marianne Gullberg att motion capture kommer att användas mycket inom undervisning. Samtidigt är hon tydlig med att det just nu är svårt att bedöma utvecklingen inom området.
Inte minst är det kopplat till den så kallade metaverse-trenden som är något som allt fler teknikbolag talar om och vill förhålla sig till. I korthet brukar metaverse beskrivas som en slags internetvärld i tre dimensioner där människor ska kunna tillbringa tid, arbeta och förströ sig. Tanken har funnits länge men har fått förnyat bränsle på sista tiden, inte minst efter att Facebook hösten 2021 meddelat sitt namnbyte på ägarbolaget till Meta.
– Det handlar om att röra sig i någon form av virtuellt universum och interagera med den virtuella miljön. Det är oklart exakt hur de tänker men jag är övertygad om att vi kommer att se någon form av sådana här mo-cap-system som är bärbara och jag tror att det är sociala medie-företag och underhållnings-, spel- och filmbranschen som driver utvecklingen framåt, säger Marianne Gullberg.

Försvarsmakten: Stora behov i underrättelseanalys
Från Försvarsmakten är bedömningen att motion capture-tekniken kan vara intressant. Det ena gäller det som nämns ovan kopplat till träning och övning i olika virtuella miljöer. Vid sidan av det ser myndigheten också ett möjligt intresse på teknikområdet i de fall den skulle kunna användas utan markörer. Ett skäl till det är att Försvarsmakten bedömer att det framöver kommer att finnas betydligt fler sensorer som myndigheten har tillgång till.
– En viktig del blir då att översätta den enorma mängden inkommande data till information. Och då kan det här vara ett verktyg. Det kanske är en kamera som spanar efter drönare som ska känna igen olika mönster, säger Rickard Stridh, forskningschef på Försvarsmakten.

Och när det gäller bildanalys överhuvudtaget ser Stridh att behoven är, och kommer att bli stora för försvars- och säkerhetsmyndigheter framöver.
– Inte minst inom underrättelseanalysen, där det handlar om att kunna känna igen olika mönster. Det behöver inte vara en människa, det kan vara ett fordon eller något annat som finns i en bild, säger Rickard Stridh.