Kluczowe dania na wynos
- Nvidia zaprezentowała niedawno technikę, która zamienia zdjęcia 2D w sceny 3D w zaledwie kilka sekund.
- Metoda wykorzystuje moc komputera do przybliżenia zachowania światła w świecie rzeczywistym.
- Metaverse to jeden z obszarów, w którym sceny 3D są pomocne, ponieważ można je oglądać z dowolnej perspektywy kamery.
Nowa technologia sztucznej inteligencji (AI) firmy Nvidia może wkrótce przekształcić zdjęcia 2D w sceny 3D w ciągu zaledwie kilku sekund, dzięki czemu tworzenie wciągających wirtualnych przestrzeni, takich jak metaverse, będzie tak trywialne jak przetwarzanie tekstu.
Nvidia niedawno zademonstrowała metodę fotograficzną o nazwie Instant NeRF, która wykorzystuje moc obliczeniową do przybliżenia zachowania światła w rzeczywistym świecie. Może przekształcić Twoje stare zdjęcia w scenę z gry wideo lub wyszkolić roboty i samojezdne samochody, aby zrozumieć rozmiar i kształt rzeczywistych obiektów.
„Obrazowanie 3D wprowadza nowy świat transformacji” – powiedział Lifewire w rozmowie e-mailowej Oren Debbi, dyrektor generalny Visionary.ai, firmy zajmującej się wizją komputerową, która uruchamia swoje algorytmy 3D na platformie Nvidia. „Korzystając z 3D, naśladujesz rzeczywistą głębię sceny i sprawiasz, że obraz wydaje się bardziej żywy i realistyczny. Poza AR/VR i kamerami przemysłowymi, gdzie 3D jest bardzo powszechne, widzimy teraz, że jest używany na prawie każdym smartfonie bez użytkownik nawet wie."
Dodawanie wymiarów
Pierwsze natychmiastowe zdjęcie, zrobione 75 lat temu aparatem Polaroid, miało na celu szybkie uchwycenie świata 3D na obrazie 2D. Teraz naukowcy zajmujący się sztuczną inteligencją pracują nad czymś odwrotnym: przekształceniem kolekcji nieruchomych obrazów w cyfrową scenę 3D w kilka sekund.
Znany jako renderowanie odwrotne, proces ten wykorzystuje sztuczną inteligencję do przybliżenia zachowania światła w świecie rzeczywistym, umożliwiając naukowcom zrekonstruowanie sceny 3D z kilku obrazów 2D wykonanych pod różnymi kątami. Nvidia twierdzi, że opracowała podejście, które umożliwia wykonanie tego zadania niemal natychmiast.
Nvidia zastosowała to podejście z nową technologią zwaną polami promieniowania neuronowego (NeRF). Firma twierdzi, że wynik, nazwany Instant NeRF, jest najszybszą jak dotąd techniką NeRF. Model potrzebuje zaledwie kilku sekund na przeszkolenie na kilkudziesięciu nieruchomych zdjęciach, a następnie może wyrenderować powstałą scenę 3D w ciągu kilkudziesięciu milisekund.
Jeśli tradycyjne reprezentacje 3D, takie jak siatki wielokątne, są podobne do obrazów wektorowych, NeRF są jak obrazy bitmapowe: gęsto rejestrują sposób, w jaki światło promieniuje z obiektu lub w obrębie sceny”, David Luebke, wiceprezes ds. badań graficznych w Nvidia powiedziała w komunikacie prasowym: „W tym sensie Instant NeRF może być tak samo ważny dla 3D, jak aparaty cyfrowe i kompresja JPEG w fotografii 2D, co znacznie zwiększa szybkość, łatwość i zasięg przechwytywania i udostępniania 3D.”
Zbieranie danych w celu zasilenia NeRF wymaga, aby sieć neuronowa przechwyciła kilkadziesiąt zdjęć zrobionych z różnych pozycji wokół sceny, a także położenie kamery każdego z tych ujęć.
NeRF trenuje małą sieć neuronową, aby zrekonstruować scenę, przewidując kolor światła promieniującego w dowolnym kierunku, z dowolnego punktu w przestrzeni 3D.
Odwołanie 3D
Metaverse to jeden z obszarów, w którym sceny 3D są przydatne, ponieważ można je oglądać z dowolnej perspektywy kamery, powiedział w wywiadzie e-mailowym dla Lifewire Brad Quinton, założyciel platformy Perceptus Platform for Augmented Reality (AR). Tak jak możemy chodzić po pokoju w prawdziwym życiu i oglądać jego zawartość pod wieloma różnymi kątami, dzięki zrekonstruowanej scenie 3D możemy wirtualnie poruszać się po przestrzeni i oglądać ją z dowolnej perspektywy.
„Może to być szczególnie przydatne przy tworzeniu środowisk do użytku w wirtualnej rzeczywistości” – powiedział Quinton.
Programy takie jak Object Capture firmy Apple wykorzystują technikę zwaną fotogrametrią do tworzenia wirtualnych obiektów 3D z serii obrazów 2D. Modele 3D będą szeroko wykorzystywane w rzeczywistości wirtualnej i aplikacjach AR, przewiduje Quinton. Na przykład niektóre AI, takie jak ta w Perceptus AR Platform, wykorzystują modele 3D do zrozumienia rzeczywistego świata, co pozwala na aplikacje AR w czasie rzeczywistym.
Wykorzystanie obrazów 3D naśladuje również rzeczywistą głębię sceny i sprawia, że obraz wydaje się bardziej żywy i realistyczny, powiedziała Debbi. Aby stworzyć efekt bokeh (czyli tryb portretowy lub tryb kinowy), konieczne jest mapowanie głębi 3D. Technika ta jest stosowana na prawie każdym smartfonie.
„Jest to już standard dla profesjonalnych filmowców kręcących filmy i staje się to standardem dla każdego konsumenta” – dodała Debbi.
