Τεχνολογία που επιτρέπει στον χρήστη να επεξεργάζεται αντικείμενα σε βίντεο από το ΜΙΤ

Μια τεχνική από το Computer Science and Artificial Intelligence Lab του MIT θα μπορούσε να βελτιώσει σημαντικά την augmented reality και να μειώσει την ανάγκη για πράσινες οθόνες CGI.
Ο άνθρωπος καταλαβαίνει πολλά για ένα αντικείμενο περιεργαζόμενός του με τα χέρια του. Αυτό δεν γίνεται προφανώς με τα αντικείμενα στα βίντεο- αλλά σίγουρα θα ήταν χρήσιμο να μπορεί κανείς να πάρει αυτό το βίντεο και να εξομοιώνει την κίνηση ενός αντικειμένου σε αυτό.
Οι ερευνητές του CSAIL πέτυχαν ακριβώς αυτό, μέσω μιας τεχνικής ονόματι IDV (Interactive Dynamic Video), που επιτρέπει στον χρήστη να «αγγίζει» αντικείμενα σε βίντεο. Μέσα συμβατικών καμερών και αλγορίθμων, το IDV εξετάζει τις σχεδόν αόρατες δονήσεις ενός αντικειμένου για να δημιουργεί εξομοιώσεις βίντεο με τις οποίες ο χρήστης μπορεί να αλληλεπιδρά εικονικά.
«Η τεχνική αυτή μας επιτρέπει να “πιάνουμε” τη φυσική συμπεριφορά των αντικειμένων, που μας δίνει έναν τρόπο να παίζουμε μαζί τους εικονικά» λέει ο Έιμπ Ντέιβις, φοιτητής του CSAIL, που θα δημοσιοποιήσει τη δουλειά του αυτόν τον μήνα για τη διπλωματική του. «Κάνοντας τα βίντεο interactive, μπορούμε να προβλέψουμε πώς τα αντικείμενα θα αντιδρούν σε άγνωστες δυνάμεις και να ανακαλύψουμε νέους τρόπους αλληλεπίδρασης με τα βίντεο».
Ο Ντέιβις λέει πως το IDV έχει πολλές δυνατές χρήσεις- από νέα οπτικά εφέ σε ταινίες μέχρι χρήση από αρχιτέκτονες για να διαπιστώνεται εάν τα κτίρια που σχεδιάζουν είναι ασφαλή. Για παράδειγμα, δείχνει πως, αντίθετα με το πώς το δημοφιλές παιχνίδι Pokemon Go εμφανίζει εικονικούς χαρακτήρες σε χώρους του πραγματικού κόσμου, το IDV μπορεί να πάει ένα βήμα παραπέρα, επιτρέποντας σε εικονικούς χαρακτήρες να φαίνονται ότι αλληλεπιδρούν με τα περιβάλλοντά τους με συγκεκριμένους, ρεαλιστικούς τρόπους, όπως το να πηδούν πάνω στα φύλλα ενός κοντινού θάμνου.
|Για την εξομοίωση των αντικειμένων, οι ερευνητές ανέλυσαν κλιπ βίντεο για να βρουν τα «vibration modes» (δονήσεις) σε διαφορετικές συχνότητες, που το καθένα αντιπροσωπεύει ξεχωριστούς τρόπους με τους οποίους μπορεί να κινηθεί ένα αντικείμενο. Με αυτό τον τρόπο, οι ερευνητές ήταν σε θέση να αρχίσουν να προβλέπουν πώς τα αντικείμενα θα κινούνται σε διαφορετικές καταστάσεις.
«Τα computer graphics μας επιτρέπουν να χρησιμοποιούμε 3D μοντέλα για να φτιάχνουμε διαδραστικές εξομοιώσεις, αλλά οι τεχνικές μπορεί να είναι πολύ πολύπλοκες» λέει ο Νταγκ Τζέιμς, καθηγητής επιστημών υπολογιστών στο Stanford University που δεν ενεπλάκη στην έρευνα. «Ο Ντέιβις και οι συνάδελφοί του παρείχαν έναν απλό και έξυπνο τρόπο να δημιουργήσουν ένα χρήσιμο μοντέλο δυναμικής από πολύ μικρές δονήσεις σε βίντεο, και έδειξαν πώς χρησιμοποιείται για το “ζωντάνεμα” μιας εικόνας».
Ο Ντέιβις χρησιμοποίησε το IDV σε βίντεο μιας σειράς αντικειμένων. Με λίγα κλικ, έδειξε πώς μπορούσ ενα πιάσει και να τραβήξει το αντικείμενο, λυγίζοντας και κουνώντας το σε διαφορετικές κατευθύνσεις.
«Αν θέλεις να φτιάξεις ένα μοντέλο σχετικά με το πώς συμπεριφέρεται ένα αντικείμενο και αντιδρά σε διαφορετικές δυνάμεις, δείχνουμε πως μπορείς να παρατηρήσεις το αντικείμενο να αντιδρά σε υπάρχουσες δυνάμεις και να θεωρείς ότι θα αντιδράσεις ανάλογα και σε νέες» λέει ο Ντέιβις, που διαπίστωσε επίσης ότι η τεχνική αυτή λειτουργεί ακόμα και σε κάποια βίντεο στο YouTube.