Odkąd rozpowszechniać zaczęło się modelowanie w 3D, zawsze największym wyzwaniem i dotąd najbardziej niedoskonałym elementem, który próbowano odtworzyć, była twarz. Jest ona bardzo ekspresyjna, a każdy, nawet najmniejszy ruch zmienia nieco jej wygląd w danym momencie.
Próby jak najlepszego wymodelowania twarzy i co trudniejsze - jej mimiki, najczęściej spotykane są w grach wideo. W żadnej jednak jak dotąd nie udało się choćby zbliżyć do perfekcji (choć w LA Noire było już nie najgorzej). 
Wychodząc naprzeciw tym wymaganiom, Azjatycki oddział Microsoft Research stworzył technologię, która może okazać się milowym krokiem w tym temacie. Ekipa prowadzona przez Xin Tonga opracowała nowe rozwiązanie, które, jak zapewnia, pozwala tworzyć niezwykle wierne obrazy twarzy w trójwymiarze. Ich projekt polega na połączeniu dwóch istniejących od jakiegoś czasu i często stosowanych w praktyce technologii – motion capture oraz skanowania 3D.
Motion capture polega na umieszczeniu od kilkudziesięciu do nawet ponad stu odblaskowych punktów na całej twarzy i zarejestrowanie ich działania w nagraniu wideo – aktor robi różne miny lub coś mówi, a kamery wychwytują wszelkie zmiany położenia wspomnianych punktów. Metoda ta jest dokładna, jednak jej dużym problemem jest niska rozdzielczość uzyskanych wyników.
Skanowanie natomiast oferuje bardzo wysoką rozdzielczość – wychwytywane są nawet najmniejsze szczegóły twarzy (jak np. zmarszczki). Skanery te dobrze spisują się jednak głównie przy statycznych ujęciach. Połączenie tych dwóch bez wątpienia bardzo odróżniających się od siebie technik było więc nie lada wyzwaniem.
Azjatyccy naukowcy mają już za sobą pierwsze testy. Prace rozpoczęto od standardowego motion capture z około 100 punktami. Zaproszono trzech aktorów, którzy przybierali różne, ustalone wcześniej wyrazy twarzy. Dzięki analizie wyników, ekipa Tonga ustaliła także minimalną ilość potrzebnych skanów. Po ich wykonaniu, rozpoczęło się dopasowanie jednych skanów do drugich.
Było to o tyle ciężkie zadanie, że dany wyraz twarzy nie jest cały czas taki sam i na kolejnych skanach można było zauważyć różnice – „Chcemy mieć pewność, że te elementy są dopasowane, inaczej widoczne będą dziwne zakłócenia. Może to być np. zmarszczka, która jest, potem znika, a potem znowu się pojawia – to nie jest naturalne” – ujawnił Tong.
By wykluczyć wszelkie problemy tego typu, zespół zastosował dwuetapowy algorytm dopasowywania. Najpierw, algorytm dopasowuje podstawowe elementy mimiki pomiędzy wykonanymi skanami twarzy. Później następuje doprecyzowywanie – jedne skany dzielone są na obszary i są dopasowywane do podobnych na innych skanach. Stosowana jest przy tym technika przepływu optycznego, która uwzględnia ruch między kamerą a twarzą.
Po połączeniu wyników motion capture oraz skanów, uzyskany model twarzy jest kompletny – uchwycone zostały zarówno duże ruchy, jak i te najmniejsze szczegóły, jak chociażby delikatne zmarszczki na skórze.
Stosowanie tak dokładnej technologii może znaleźć zastosowanie we wielu sektorach informatyki, a głównie w grach komputerowych i przy tworzeniu wirtualnych awatarów - „Postać byłaby wirtualna, ale mimika prawdziwa” – powiedział na ten temat Xin Tong. „Byłoby to niezwykle przydatne podczas telekonferencji, podczas spotkań biznesowych, gdzie ludzie są bardzo wyczuleni na wyraz twarzy rozmówcy i na jego podstawie wnioskują, o czym myśli druga strona”.
Więcej o nowych technologiach:
- Kina 4DX - poczuj to, co dzieje się na ekranie
- IBM: prototypowy chip działający jak ludzki mózg
- Komputery pomagają przewidywać przestępstwa
Źródło: Microsoft
Komentarze
7