3D HORIZONT360

• well explored (sight, hearing)
• emerging (touch, taste&smell)

• By cognitive safety we mean safeguarding against the mental fatigue created by over-exposure to multiple digital stimuli. So the network’s owner needs to consider the impact of the experience on the users’ cognitive load. 6G services must ensure cognitive ‘noise’ is carefully balanced so that users don’t feel burned out by frequent use of multiple devices. 
• While technology is being trialed to avert nausea, until it is fixed it’s something developers must be aware of. There are also the physical safety aspects of bumping into or tripping over objects in the real world when immersed in a digital environment. Many headsets use sensors to warn users, but until this technology is perfected, accidents will continue.
• People will want major assurances over the questions over authenticity, given that virtual avatars and personas have made the public aware of even more sinister developments such as deep fakes of both people and environments.

• VR (virtual reality) replaces the real world with a simulated experience (a “virtual” world). 
• AR (augmented reality) allows the real world to be experienced while at the same time, adding to it, a virtual world.
• MR (mixed reality) provides blends that interpolate between real and virtual worlds in various proportions, along a “virtuality” axis, and extrapolate to an “X-axis” defined by “X-Reality” (eXtended reality). 
• Mediated reality goes a step further by mixing/blending and also modifying reality, including, for example, deliberate diminishing of reality (e.g., a computerized welding helmet that darkens bright subject matter while lightening dark subject matter). This modifying of reality introduces a second axis called “mediality.” Mediated reality is useful as a seeing aid (e.g.,modifying reality to make it easier to understand) and for psychology experiments like upside-down eyeglasses experiment. 
• Multimediated reality (All R) is a multidimensional multisensory mediated reality that includes not just interactive multimedia-based “reality” for our five senses but also includes additional senses (like sensory sonar, sensory radar, etc.), as well as our human actions/actuators. These extra senses are mapped to our human senses using synthetic synesthesia. This allows us to directly experience real (but otherwise invisible) phenomena, such as wave propagation and wave interference patterns, so that we can see radio waves and sound waves and how they interact with objects and each other, i.e., phenomenological reality. Moreover, multimediated reality considers not just multiple axes in addition to the X-Reality axis but also that the origin of the axes exists at zero sensory stimuli.

• Telepresence. The term was coined as a response to the needs of the robotics community. The term describes the relationship between the human operator and the environment in which a remote machine is located, where the human operator would get a “sense of being physically present at a remote location through interaction with the system’s human interface”. The term was then adopted by the virtual reality community as well.
• Presence. The term initially referring to the “experience in natural surroundings,” whereas telepresence was used for the experience in mediated environments. In time, this distinction based on mediation of the environment was viewed unnecessary, and the term presence started to be used for both natural and mediated environments. It is defined as “being there” or “perceptual illusion of nonmediation” (i.e., as if the virtual environment was “real”). As one of the loaded terms among others, presence can have many different lenses to look from. It is identified six different viewpoints and aspects that define and affect presence. Immersion is described as one of these aspects. Presence is considered an essential element for immersive technologies.
• Embodiment.  Since it is used in virtual reality terminology, the term embodiment seems related to presence and immersion concepts. Nevertheless, the term embodiment relates to an avatar that represents the users’ body in a virtual environment. This avatar can be either a photorealistic one or not. If the users of a virtual environment (or a virtual reality application) “embodies” the virtual avatar they are given, they can use the body for physical and social needs in the said virtual environment and do not experience any discomfort during their activities. Currently, most of the applications for the considered immersive video modalities do not employ a virtual avatar, and there is little need to consider embodiment in most of the applications.
• Immersion.  The term immersion comes from the English word “immerse,” meaning “to become completely involved in something” or “to put something or someone completely under the surface of a liquid”. One of the earliest descriptions in the virtual reality literature describes it as “a term that refers to the degree to which a virtual environment submerges the perceptual system of the user in computer-generated stimuli”. This is similar to covering over (or blocking) the users’ senses (both physical and psychological; discussed more in the next subsection) with the virtual environment or virtual reality application. It is also mentioned that immersion can be measured; physical immersion can be measured by identifying number of senses that are covered by the environment and psychological immersion needs to be reported by the user.

• It is hard to define realism in one way since it is our brains that define what “real” is. It is argued that there are two types of realism: social realism and perceptual realism. Social realism is the type of realism that focuses on the conceptual relationships in the environment, especially between people or agents. Therefore a video game can be compelling or feel “real” to players, even though the avatars or objects in the game do not look as they do in real life. Perceptual realism, on the other hand, focuses on recreating the actual 3D world with highest fidelity, and the perceptual realism for visuals is sometimes called photorealism. Since the users can believe the environment is “real” with social realism, we understand and acknowledge that photorealism (or perceptual realism) is not necessary for immersion in video technologies. Nevertheless, since realism is a very important part of video technologies, the immersive video modalities in this book put a much heavier focus on perceptual realism.
• Interactivity, is also key in how video technologies become immersive. It is argued that interaction is a crucial element in perceiving a technological system as a social agent instead of hardware [4], which can be very important in achieving immersion. Recent immersive imaging systems enable and promote interaction in a far greater degree than traditional video, and this is also supported by new lightweight wearables, haptics controllers, and headsets. Furthermore, the low latency between users, which come with increased connection speeds, promotes much smoother user-to-user interaction.

• Complementary to 2D video, 3D graphics requires very explicit geometric information for synthesizing the stereoscopic image pair that is presented to the viewer. This geometric information can be a 3D model of the scene (here a house) or a point cloud representing the shape and texture of a person (bottom-centre), or even a textured 3D mesh that we will study further in the textbook. With this geometry and texture information, any viewpoint to the scene can be synthesized, like in a 3D video game. The images presented to the viewer will change according to the head and body pose changes, covering 6 degrees of freedom (6DoF) capabilities: three head rotations and three body (and head) translations.
• 360 videos are just 2D videos that are presented to the viewer; they do not contain any geometric information such as the shape of objects or their depth. This highly simplifies the roll-out of 360 video technology, which is probably the reason for its popularity . . . but be careful in using 360 videos in a VR headset: they will make you easily sick because what you see does not move in  correspondence to your own body and head lateral movements. In fact, only the head’s rotational movements are considered for changing the images presented to the viewer, not the lateral body movements. 360 videos therefore only present 3 degrees of freedom (3DoF) capabilities.

• content creation is a fundamental activity of artists and designers (script and movie generation, journalism and text generation, music generation, image generation, animation, VR/AR/MR, deepfakes, content and captions)
• information analysis (text categorization, sdvertisements and film analysis, content retrieval, recommendation services, intelligent assistants)
• content enhancement and post production workflows (contrast enhancement, colorization, upscaling imagery, restoration, inpainting, visual special effects VFX)
• information extraction and enhancement (segmentation, recognition, salient object detection, tracking, image fusion, 3D reconstruction and rendering, data compression)

• ethical issues, fakes and bias
• the human in the loop.

•  Haptic feedback, as vibrotactile stimuli, can enhance factors of user experience in virtual reality volumetric music video experiences.
•  Haptic feedback, as vibrotactile stimuli, can influence subjective evaluations of the contributing aspects of presence experiences in virtual reality volumetric music video experiences.

• Immersion is “the degree of involvement with a game”. Immersion is also a deep engagement when people “enter a make-believe world”. While some research points to experiencing virtual engagement or disassociation from reality in virtual worlds, others consider immersion as a substitution for reality by virtuality and becoming part of the virtual experience. Immersion also includes a lack of awareness of time and the physical world, feeling present within a virtual world, and a sense of real-world dissociation. While broad, these definitions of immersion are universally applicable to VR technology. Moreover, it should also be noted that measures of immersion target the technology and not the user’s experience of the IVE.
• Factors of presence, on the other hand, can be classified as subjective experiences . As an aspect of immersion, presence can indicate if a “state of deep involvement with technology” has been achieved. Therefore, presence can be defined as a “state of consciousness, the (psychological) sense of being in the virtual environment”. Whether directly or indirectly, immersion is required to induce presence. 
• Furthermore, the social aspect of a virtual experience, as co-presence, is also a factor for consideration and a state of “flow.” 
• Flow describes the feeling of full engagement and enjoyment of an activity and is strongly linked to feeling present and increased task performance in IVEs. 
• VR is driven to pursue simulation realism. The conscious sense of presence is modeled by presenting bodily actions as possible actions in the IVE and suppressing incompatible sensory input. However, a digital representation does not require perfect rendering to be perceived as physically accurate. Furthermore, objective and subjective realism does not always balance when an audience experiences esthetic art practices. 

• under other terms such as free viewpoint video (FVV), 3D video, and others. However, the commercial application has been limited to a few special effects and game design cases. Recent years have seen significant interest in VV, including research, industry, and media streaming standardization. On the one hand, this reinvigoration is driven by the maturation of VV content creation technology, which has reached acceptable quality today for various commercial applications. On the other hand, current interest in extended reality (XR) also drives the importance of VV because VV facilitates bringing real people into immersive XR experiences. Traditionally, VV content creation starts with synchronized multiview video capture in a specifically designed studio.
• Spatial Sound.  The success of a VR experience relies on effectively replacing real-world sensory feedback with a virtual representation. Since sounds convey multiple types of information, such as emotional expression, localization information, and environmental cues, auditory feedback is an essential component in the perception of an IVE. The purpose of auditory feedback in immersive media is to replace the existing sounds and the acoustic response of the environment with virtual ones. Furthermore, presence, immersion, and interaction are essential for a successful experience in VR development. The more accurate or plausible the auditory representation, the higher the sense of presence, immersion, and place illusion is felt by users. Spatial audio, often referred to as immersive audio, is any audio production technique that allows rendering sounds with the necessary perceptual properties to be perceived as having a distinct direction and distance from the user. Sound localization lets us recognize a sound source’s presence, distribution, and interaction. It is defined as the collection of perceptual characteristics of audio signals that allow the auditory system to determine a sound source’s specific distance and angular position using a combination of amplitude, monoaural cues, interaural level differences (ILDs), and inter-aural time differences (ITDs). Sound auralization is crucial for creating a plausible auditory scene and increasing the user’s spatial perception and the VR environment’s overall immersiveness. Utilizing a range of acoustic phenomena, such as early reflections and reverberation, allows us to produce a realistic auditory response and helps place audio sources in the virtual space.
• Haptics.  The sense of touch in humans is often categorized as cutaneous, kinesthetic and proprioceptive, or haptic perception. Haptic perception is achieved through actively exploring surfaces and objects using the forces experienced during contact with mechanical stimuli, including pressure and vibration. In human physiology and psychology, haptic stimuli and their perception by the brain relate to the actions of the somatosensory system and the sensory gathering of force and tactile information immediately affecting a person, all highlighting the existence of corresponding external stimuli sources. Contact with haptic stimuli is usually made via the skin, explicitly stimulating cutaneous receptors in the dermis, epidermis, and ligament tissue. Cutaneous receptors are found in the skin for touch, and proprioceptors are located in the muscles for kinesthetic and proprioceptive awareness. Cutaneous receptors include mechanoreceptors (pressure or distortion), nociceptors (pain), and thermoreceptors (temperature). Mechanoreceptors need to be stimulated to experience the touch of a vibration. In physics, vibrations are a mechanical phenomenon whereby oscillations occur around an equilibrium point . On the one hand, sound is a vibration that spreads as an acoustic wave via some medium and stimulates the auditory system. On the other, for haptics, the perception of vibration is a measure of vibration as cutaneous stimuli, and this somatosensory information then allows humans to explore their immediate world. For perception to be achieved, direct physical contact is often required; this is not the case for auditory perception. The radiated sound can also stimulate the surface of the human body. Airborne vibrations, such as sound, can also be perceived by the skin if they are of sufficient amplitude to displace the receptors under the skin, as is often experienced in live concerts. When an acoustic or digital musical instrument produces a sound, that sound is created by some vibrating element of the instrument’s design or an amplified speaker. Therefore, haptics and music can be innately connected through multimodal vibration, where the biological systems of the somatosensory and auditory systems are engaged simultaneously. The combination of haptic and auditory stimuli can be multimodal and experienced by a performer and audience alike, creating new practices that can be mixed and analyzed in multiple contemporary use-case scenarios. The musician and the audience are reached by vibration through the air and solid media, for example, the floor or the seats of a concert space or stage. However, in the case of the audience, vibrotactile and audio stimuli are experienced passively, as no physical contact is made between the instrument and listener. Still, studies have reported that music-related vibrations generally improve the listeners’ music experience, and it is the audience experiences that we choose to observe. 
• VR Performance.  The permeation of XR technologies into the hands of creative artists has provoked varied and innovative technological employments toward esthetic ends. The arrival of these technologies has been proposed by several theorists and critics as analogous to the advent of film technologies at the beginning of the 20th century, which (arguably) gave rise to the wealthiest epoch of modern, avant-garde, inventive art in the 20th century. Even within the more focused subcategory of the performing arts, there is a plethora of creative techniques, styles, and strategies, as well as opinions and views on the most effective solutions, for harnessing these technologies and captivating audiences. To date, VR (as a subsection of the totality of platforms offered on the spectrum of XR technologies) has enjoyed the most significant level of investigation by performing artists. Even within the more focused purview of VR performance, several taxonomies still have to be negotiated, for example, live versus prerecorded material and the creative techniques employed. It is suitable to focus the discussion on VR performance content created using VV, yet even within this narrowed category, there are varying techniques: those that purely use computer vision and those that include the use of depth camera data. Focusing specifically on offline VV content generated purely through the computer vision techniques outlined above, it is essential to note that, in the context of the presented research, there is currently no possibility of generating a live (real-time) representation of a 3D character. Leaving aside consumer bandwidth, the postproduction processes are currently too slow and memory-intensive; however, as processing capabilities increase and algorithms and pipelines become more refined, it is possible that, in the next few years, the latency between capture and representation may be reduced to less than a minute, which is not that far off the latency associated with straightforward video webcasting. 

• Reality: The surrounding environments and objects are real.
• Augmented Reality (AR): The surrounding environments are real but enriched with virtual augmenta- tions. The reality is the physical world that we observe without any virtual content. AR overlays a virtual layer on top of reality. Use cases are sports, automotive, real estate and tourism
• Mixed Reality (MR): A mixture of real and virtual content which includes Augmented Reality (AR) and Augmented Virtuality (AV). MR is a broad concept encompassing all the technologies that mix real and virtual environments, including AR. AR and MR are used interchangeably in the literature due to the lack of a clear boundary. In this paper, we consider MR as an advanced version of AR since MR allows users to interact with virtual content, while AR only augments virtual content on top of the real environment. Use cases are computing platform, healthcare, 3D design.
• Virtual Reality (VR): The surrounding environments  are fully virtual. Use cases are personal movie theater, sports, gaming. 

• First, the rapid development of deep learning dramatically improves the accuracy of vision and language recognition, and the development of generative models enables a more immersive environment and natural movement. The processing time and complexity were reduced using multimodal models as E2E (end-to-end) solutions with a multimodal pre-trained model. 
• Second, Metaverse previously served based on PC access and had low consistency due to time and space constraints, but now it is possible to easily access the Metaverse anytime, anywhere due to the mobile devices that can connect to the Internet at all times. There are 50 million games in Roblox and the accumulated monthly usage time is 3 billion hours. People consums more time than social network services (e.g., TikTok, YouTube). It has a virtuous cycle ecosystem in which the inow and income of producers increase as users and usage time increase while serving various contents, and thus sales of digital advertisements increase. 
• Lastly, the current Metaverse differs from the previous one because the program coding can be done in the Metaverse world, and it is more bonded to real life with virtual currency. Metaverse expands with various social meanings (e.g., fashion, event, game, education, and ofce) based on immersive interaction. Cryptocurrencies (e.g., Dime) serve as an economic bridge between the Metaverse and the real world, giving people deeper social meaning.

• First, while VR-related studies focus on a physical approach and rendering, Metaverse
• has a strong aspect as a service with more sustainable content and social meaning. 
• Second, the Metaverse does not necessarily use AR and VR technologies. Even if the platform does not support VR and AR, it can be a Metaverse application. 
• Lastly, the Metaverse has a scalable environment that can accommodate many people is essential to reinforce social meaning.

• hardware improvements (e.g., GPU memory, 5G); 
• the development of the recognition and expression model that leverages the parallelism of the hardware; 
• the availability of content that people immerse in and participate in.

• Imersivna potpuna komunikacija.  Ljudi mogu proširiti svoja čula kroz digitalni domen. Vizuelne/prostorne, taktilne/haptičke i druge senzorne podatke visoke rezolucije treba razmenjivati sa velikom propusnošću i malom latencijom kako bi se stvorio utisak da ste negde drugde. Da bi se to postiglo, potrebne su veze velike propusne moći sa determinističkom latencijom sa-kraja-na-kraj koje su povezane sa novim uređajima.
• Blizanački sistemi između domena.  Senzori i pokretači čvrsto sinhronizuju domene kako bi postigli digitalne blizance gradova, fabrika, čak i naših tela. Ovo će omogućiti bogato rudarenje podataka i visoko efikasnu kontrolu, ali integritet i sigurnost podataka moraju biti osigurani.
• Povezana inteligencija.  Mreža će služiti kao ključna infrastruktura koja omogućava veze velokog kapaciteta sa niskim kašnjenjem sa-kraja-na-kraj i bezbednu računarsku funkcionalnost dostupnu širom mreže. Pouzdane AI funkcije mogu da rade u mreži i na mreži. Virtuelni prikazi osoba i fizičkih uređaja mogu međusobno razmenjivati informacije u digitalnom domenu, što podrazumeva novi način identifikacije virtuelnih prezentacija.
• Spoznaja.  Nije dovoljno predstavljati ljude kao fizičke objekte u digitalnom domenu. Takođe je značajno biti svestan njihovih namera, želja i raspoloženja. Na primer, postojeći način da saznate šta ljudi žele je upotreba alata za prepoznavanje glasa pomoću AI. Spoznaja dovodi sve ove senzorske unose zajedno sa znanjem o preferencijama, ranijim izborima i, na primer, raspoloženju osobe.

• Osnovni modeli emocija pretpostavljaju da skup emocija automatski pokreću predmeti i situacije svuda u svetu.
• Modeli procene pretpostavljaju da su emocije pokrenute interpretacijom stimulusnih događaja i stoga se mogu smatrati detektorima relevantnosti. 
• Psihološki konstruktivni modeli pretpostavljaju da se emocije mogu razložiti na primitive koji su takođe uključeni u druga mentalna stanja. Modeli pretpostavljaju da se emocija pojavljuje kada se nečije unutrašnje stanje svesno razume u odnosu na događaj. 

• osobe su uključene u stanje intenzivne pažnje i snažno su usredsređene na određeni predmet.
• gledalac procenjuje estetske objekte kao delove virtuelne stvarnosti i konačno, ima snažan osećaj jedinstva sa objektom estetske procene.
• estetske emocije nisu usmerene ka zadovoljavanju telesnih potreba.

• Indukovane emocije su emocije koje gledaoci osećaju kao odgovor na multimedijalni sadržaj s obzirom na njihove ciljeve i vrednosti. 
• U procesu emocionalne infekcije, na gledaoca utiče izražena emocija multimedijalnog sadržaja, ne razumejući detaljno kako je možda razvijen emocionalni izraz multimedijalnog sadržaja (neophodno je  razlikovati ovaj proces od percepcije emocija, koja se odnosi na percepciju emocija izraženih multimedijalnim sadržajem bez izazivanja afektivnih odgovora kod gledalaca).
• Empatična simpatija se javlja kada na gledaoce situacija ili događaj ne utiču direktno, već slede korake ocenjivanja koji vode ka emociji koju doživljavaju likovi u multimedijalnom sadržaju.

• Pristup kategoričkih emocija je vrlo prirodan, jer seže do porekla jezika i pojave reči i izraza koji predstavljaju jasno odvojena stanja. Predložene su mnoge diskretne kategorizacije emocija, poput šest osnovnih univerzalnih emocija, osam biološki inspirisanih emocija (bes, strah, tuga, gađenje, iznenađenje, iščekivanje, poverenje i radost). U slučaju da se poveća broj klasa, pojavljuju se nejasnoće zbog jezičkih poteškoća ili ličnog tumačenja.
• Dimenzionalni pristupi su takođe predloženi za modelovanje emocija kao tačaka u kontinuiranom n-dimenzionalnom prostoru. Najpoznatiji je prostor valencije-uzbuđenja-dominacije, poznat i kao prostor zadovoljstva-uzbuđenja-dominacije (PAD). U ovom prostoru svaki subjektivni osećaj može se opisati svojim položajem u 3D prostoru formiranom dimenzijama valencije, uzbuđenosti i dominacije. Valentnost se kreće od negativne (tužne, razočarane) do pozitivne (radosne, ushićene), dok se uzbuđenje može kretati od neaktivne (umorne, zamišljene) do aktivne (uznemirene, besne), a dominacija od dominirane (dosadno, tužno) za kontrolu (uzbuđeno, oduševljeno).

• Radni okvir uz pomoć AI u lokalnom urbanom prostoru upravljaće EdgeCache&Interference&Training-om kako bi kontinuirano procesirao digitalni video format AR kamere prenetim iz brze mreže i odgovarajućim dizajnerskim naznakam usmerenim ka korisnika iz crowd-powered arhitekture.
• Presudno je dizajnirati podsticaje koji motivišu građane da se uključe u bazu podataka crowd-powered projekta. Prikupljanje podataka za urbani prostor prvenstveno se fokusira na ciljeve unapređenja imersivnog korisničkog iskustva i sinhronizacije sa gradom kao interfejsom usmerenim na korisnika.
• AR interfejsi evoluiraju od 2D apps do interakcije zasnovane na stvarnosti (RBI). Stoga bi se trebalo posebno pozabaviti pitanjima upotrebljivosti u urbanim sredinama. Pomoću HI pristupa, umesto sa jedinstvenim dizajnerskim heurističkim rešenjima, problemi se mogu rešavati na mogućnostima korisnički definisanih interfejsa u okviru gradskog radnog okvira koji se može skalirati.

1. percepcija, 
2. implicitna integracija memorije, 
3. eksplicitna klasifikacija sadržaja i stila, 
4. kognitivno ovladavanje i 
5. vrednovanje.

1. računarsko modelovanje isprepletanih fotografskih pravila, 
2. poznavanje estetskih razlika na slikama iz različitih žanrova slike (npr. objekt izbliza, profil, scenografija i noćne scene), 
3. poznavanje vrste tehnika koje se koriste za snimanje fotografija (npr. visoko-dinamički opseg, crno-belo i dubina polja), i
4. pribavljanje velike količine podataka anotiranih od strane čoveka za robusno testiranje.

• poseduje formu ili sastav prepoznatljiv po određenoj konfiguraciji i kontekstualnom odnosu s drugim obeležjima,
• dizajner ih je izvorno stvorio kreativnim postupkom ili prilagodio ili preuzeo iz drugih izvora uz određenu funkcionalnost,
• član je skupa istaknutih obeležja koje dizajner uzastopno koristi.

• Nosivi uređaji, poput uređaja ugrađenih u našu odeću, postaju uobičajeni, a mrlje na koži i bio-implantati možda nisu tako retka pojava. Posedovaćemo više nosivih predmeta koji besprekorno sarađuju i omogućavaju prirodne i intuitivne interefejse.
• Ekrani osetljivi na dodir zastarevaju, gestikulacija i razgovor na bilo kojim uređajima koje upotrebljavamo, postaju obaveza.
• Uređaji koje koristimo postaju potpuno svesni konteksta, a mreža će postati sve sofisticiranija u predviđanju naših potreba. Svesnost konteksta u kombinaciji s novim interfejsima čovek-mašina učinit će našu interakciju s fizičkim i digitalnim svetom mnogo intuitivnijom i efikasnijom.

• Današnji samostalni konceptni automobili je dostupan masama do 2030. Većinu vremena su samostalno vođeni, ali je i dalje neophodan udaljeni vozač ili suvozač kako bi preuzeli kontrolu pod određenim uslovima. Raspoloživo vreme za konzumiranje podataka s Interneta u obliku više zabave, bogate komunikacije ili obrazovanja se povećava. Automobil upotrebiće značajno više podataka: podaci senzora vozila prenose se u stvarnom vremenu u mrežu, preuzimaju se mape visoke rezolucije a automobili se direktno međusobno povezuju. 
• Masovna primena bežičnih kamera kao senzori. Sa napretkom AI i računarske vizije i njihovim sposobnostima prepoznavanja ljudi i objekata (automatsko prikupljanje podataka sa slika i video zapisa), kamera postaje univerzalni senzor koji može koristiti na svakom mestu. Pitanja privatnosti rešavaju se ograničavanjem pristupa podacima i anonimiziranjem podataka. Za prikupljanje informacija o okruženju koristiti se radio-talasi i drugi načini akvizicije poput akustike.
• Digitalni novac i ključevi postaju obavezni, s tim da se transakcije u fizičkom i digitalnom svetu odvijaju kroz mnoštvo uređaja koje posedujemo. Neophodno je da mreža obezbedi sigurnost i privatnost koja je osnova za transformaciju.
• Zdravstvena zaštita se značajno transformiše, 24/7 praćenjem vitalnih parametara za sve kroz brojne nosive uređaje. Nadzor zdravlja također obuhvata i unutarnje uređaje koji komuniciraju s nosivim izvana, a oni zauzvrat mogu prenositi podatke na Internet.

• Holografska teleprisutnost postaje norma i za rad i za socijalnu interakciju. Moguće je da se čini kao da se neko nalazi na određenom mestu, a stvarno se nalazi na drugom mestu. Sistemi kombinuju trenutne izraze lica s virtuelnim unutar digitalne reprezentacije bilo kojeg fizičkog sveta.
• Masovna upotreba mobilnih robotskih rojeva i bespilotnih letilica u raznim vertikalama, kao što su hotelijerstvo, bolnice, skladišta i isporuka paketa.
• Dinamični digitalni blizanci u digitalnom svetu s sve preciznijim i sinhronizovanim ažuriranjima fizičkog sveta su osnovna platforma za naglašavanje ljudske inteligencije.

• Lokalizacija i senzing pomoću komunikacijske mreže je značajna 6G osobina. Preciznost i tačnost identifikujemo kao odgovarajuće radne mere performansi za lokalizaciju i senzing. Očekuje se preciznost reda centimetra. Točnost senzora objekta može se meriti u smislu propuštenog otkrivanja (MD) i lažnog alarma (FA) i pogreške u proceni parametara.
•  Mreža se projektuje distribuiranim AI/ML tehnikama ugrađenim u različite nodove, a koliko brzo se prilagođavaju novim uslovima u mreži je značajna osobina. Automatizacija mreže je norma, a samim time i koliko je mreža blizu kompletiranja automatizacije s nultom ručnom intervencijom je još jedan kriterijum.
•  Konačno, očekujemo veliku revoluciju korisničkih uređaja. Prvo, verujemo da će se krajnji uređaj u mnogim scenarijima razvijati u mrežu uređaja ili pod-mrežu. Još jedna odlika uređaja su značajno intuitivniji interfejsi, na primer, pristup gestikulacijom. Konačno, određena klasa uređaja ekstremno niske potrošnje i potencijalno bez baterije, oslanja se na mrežu kao izvor električne energije.

• dizajn i optimizacija radio-interfejsa na osnovu AI/ML; 
• širenje u nove opsege spektra i nove metode kognitivne razmene spektra; 
• integracija sposobnosti lokalizacije i senzora u definiciju sistema; 
• postizanje ekstremnih zahteva za performansama u pogledu latencije i pouzdanosti; 
• nove paradigme mrežne arhitekture koje uključuju podmreže i konvergenciju RAN-Core;
• nove šeme sigurnosti i privatnosti.

• Proširena stvarnost (AR) jest kada se korisniku pružaju dodatne informacije ili veštački generisani elementi ili sadržaj prekriven njihovim trenutnim okruženjem. Takve dodatne informacije ili sadržaj obično će biti vizuelni i/ili zvučni i njihovo posmatranje trenutnog okruženja može biti direktno, bez međusobnoe akvizicije, obrade i prikazivanja, ili indirektno, gdje se njihova percepcija okoline prenosi putem senzora i može se poboljšati ili obraditi.
• Mešovita stvarnost (MR) napredni je oblik AR gde su pojedini virtualni elementi umetnuti u fizičku scenu s namerom da se stvori iluzija da su ti elementi deo stvarne scene.
• Proširena stvarnost (XR) odnosi se na sva stvarna i virtualna kombinovanja okruženja i interakcije čovek-mašina generisana računaskom tehnologijom i nosivim uređajima. Uključuje reprezentativne oblike poput AR, MR i VR i područja interpolisana među njima. Nivoi virtuelnosti kreću se od delomičnih senzorski ulaza do potpuno uronjenog VR. Ključni aspekt XR je proširenje ljudskih iskustava, posebno vezanih za osećaj postojanja (predstavljena VR) i stecanje spoznaje (zastupljeno AR).

• Deljenje sadržaja uživo na društvenim mrežama s mesta događanja zajedno s 50 000 drugih ljudi na stadionu postaje još izazovnije sa 4K videom u 360 stepeni zato što svaki korisnik istovremeno prenosi 25 Mbps podataka.
• VR i AR sledeće generacije raspolažu sa šest stepeni slobode (6DoF), sledeći nivo imerzije omogućava korisnicima kretanje unutar scene i intuitivnu komunikacija s okruženjem. 6DoF sadržaj je za red veličine bogatiji prirodnošću i interaktivnošću od trenutnog videozapisa tri stupena slobode (3DoF). 3DoF doživljaji, poput videozapisa u 360 stepeni, omogućava korisniku rotaciju torza i glave sa fiksnog položaja posmatranja. Doživljaji 6DoF, koji su danas dostupni u video igrama, omogućuju korisniku da se prostorno kreće kroz okruženje samo hodanjem ili naginjanjem torza napred.
• Za intuitivno uživanje u 6DoF sadržaju neophodno je 6DoF praćenje kretanja glave psomatrača. Razvoj 6DoF tehnologije pokrenuće mnoge industrije poput turizma i obrazovanja. Većina komponenti za isporuku videozapisa trenutno je neprikladno za 6DoF video, uključujući uređaje za snimanje, produkcioni softver, kodeke, algoritme kompresije, telekomunikacionu mrežu i plejere. 6DoF video zahteva i protoke podataka u rasponu od 200 Mbps do 2 Gbps, zavisno o kašnjenju prenosa sa kraja na kraj.

• tehnologija kreiranja prostora i objekata za slobodno stvaranje naoko stvarnog prostora i objekata ljudske mašte koji nadilaze stvarnost,
• tehnologija medija nulte latencije koja redukuje fizička kašnjenja u prenosu i obradi, uklanjajući na taj način senzorna kašnjenja, poput osećaja nelagode usled kašnjenja, 
• tehnologija 2D/3D video prikaza koja omogućuje prirodni dvodimenzionalni (2D) i trodimenzionalni (3D) prikaz
• tehnologija prezentacije informacija kako bi se omogućile prirodne interakcije između stvarnosti i virtuelnog prostora
• novi pristupi pod zajedničkim nazivom "pet čula + X tehnologija prenosa" za prenos i predstavljanje ne samo naših pet čula, već i psihološkog osećaja direktno i prirodno.

• QoS obeležja su performanse, responsivnost, pouzdanost, aspekti dostupnosti, prilagodljivosti, aspekti primene i sigurnosti. Performanse na nivou sistema mere se u smislu preciznosti (biometrijska/ emocionalna/ponašanje klasifikacija), adekvatnost modaliteta (primjenjivost na domenu), preciznost razjašnjenja (izvođenje semantičkih pojmova), preciznost upravljanja dijalogom (odnos uspeha razmene), kontekstualna prikladnost (kvantifikacija načela kooperativnosti), prikladnost ishoda modaliteta (međusobne veze između osobina) i prikladnost forme (ishod isporučen korisniku merljiv pomoću faktora kao što su razumljivost). Performanse interakcije na strani korisnika može se meriti naporima (kognitivnim, fizičkim i perceptivnim) koji se zahteva od subjekta i njegovom slobodom interakcije. 
• QoS se uglavnom fokusira na celovite performanse sistema, a ne utvrđuje zadovoljstvo korisnika u smislu odnosa uzroka i posledica. Međutim, percepcija i zadovoljstvo korisnika dizajnirani su raznim drugim aspektima kojima performanse komponenata usluge sigurno ne mogu upravljati. Kvaliteta iskustva (QoE) u posljednje je vreme navedena kao subjektivna koncepcija zadovoljstva, upotrebljivosti i prihvatljivosti korisnosti. QoE prevazilazi tradicionalne krajnje parametre QoS pokrivajući mnoštvo različitih aspekata (npr. mentalno stanje subjekta) kako bi poboljšali kvalitet koju subjekt doživljava. QoE se može prikazati kao perceptivni QoS iz pogleda subjekata. Percepcija kvaliteta uzorka multimedija razlikuje se zavisno o subjektu, producentu sadržaja ili provajderu usluga. Značajna predikcija QoE može se ostvariti kroz algoritme/metrike procene QoE koji su konzistentni za bilo koju vrstu oštećenja i krajnjeg korisnika. U tu svrhu, nedavno predstavljene QoE metode procene koriste informacije povezane s degradacijom signala i informacijama o procesu percepcije kvaliteta. Na QoE utiču kognitivne i psihološke odrednice poput osećaja, navika, zahteva i očekivanja. Kvantifikovani QoE može se dobiti kodiranjem performansi sistema s percipiranjem korisnika u obliku interpretativnih i statističkih vriednosti. 
• QoS i QoE opisuju tehnički kvalitet sistema kao i stepen zadovoljstva korisnika na osnovu njihovih očekivanja. Međutim, ove mere ne uzimaju u obzir vernost i korisnost aspekata korisnika. Kvalitet percepcije (QoP) je izraz koji obuhvata zadovoljstvo subjekta s ocenom multimedijskog prikazivanja i njegovom sposobnošću za ispitivanje, sintezu i razumevanje informacijske komponente multimedijskih prezentacija. Kvalitet multimedija koja koristi objektivne ili subjektivne komponente nije adekvatna zbog velike dimenzijske prirode multimedijskih elemenata. QoP objedinjuje kako subjektivnu procenu nivoa sadržaja duž nivoa multimedijskih dispozicija (QoP-S), tako i objektivnu procenu sposobnosti subjekta za ispitivanje, simfonizaciju i akviziciju informacijskog elementa multimedijskog sadržaja (QoP-IA). QoP-S se sastoji od QoP-LOE definisanog kao nivo uživanja korisnika i QoP-LOQ određenog kao odluka subjekta o obektivnoj oceni kvaliteta dodeljenog multimedijskoj komponenti s kojom se susreće. Posebno, QoP-IA se u procentima može meriti količinom znanja koja je korisnik stekao iz multimedijskog sadržaja. QoP-LOE i QoE-LOQ procenjuju se klasičnim metodama ocenjivanja ispitanika. 

• Problem 3D dizajna. Uopšteno, reprezentacija finalnog jela ili raspored sastojaka u određenom prostoru nalikuje 3D grafičkim modelima, s nekoliko razlika. Osim estetskih (vizuelnih) svojstava koje se mogu opisati datim sistemom boja, elementi hrane sadrže i ukus koji je sastavljen od ukusa, osećaj u ustima, i mirisa. Definišimo aroma_voxel kao element u 3D prostoru koji predstavlja vrednost na regularnoj rešetki takvu da flawor_voxel = funkcija (boja, okus, osećaj u ustima, aroma), dok osećaj u ustima je funkcija uglavnom teksture i temperature. Veličina i oblik aroma_voksela zavise od specifične metode kuvanja, tj. regularna 3D rešetka je funkcija tehnologije izrade. Struktura ukusa je prostorni raspored jestivog materijala s jedinstvenom karakteristikom ukusa u jelu. U jelu koje ima dve ili više strukture, kuvar može sastaviti flawor_patterns i kontrolisati kako strukture ukusa doprinose jelu, na taj način uvodeći mogućnost kontrole promena ukusa tokom konzumiranja obroka. Za upravljanje digitalnim dizajnom jela sa složenim uzorcima ukusa, brojnim strukturama ukusa i flawor_voxel neophodan je postupak parametarskog dizajna. 
• Unificirani model recepta. Recepti se mogu objasniti proceduralno pomoću dijagrama toka, koji omogućuju upotrebu istog okvira za sve recepte i može se lako upotrebiti za opisivanje i kontrolu postupka kuvanja, uključujući hibridne postupke koji spajaju manuelne funkcionalnosti s digitalnim i automatskim. Jednostavna šema toka kuvanja sadrži elemente sastojaka (bilo u količini ili težini), funkcionalnosti (manipulacije sastojcima), elemente stanja (provera zadovoljavaju li se rezultati prethodnog koraka, potrebna kuvarska stanja) i prostor tanjira ili elementi alata s određenim geometrijskim modelom (koji uslovljavaju poseban raspored sastojaka). Odnos između hrane (ili sastojaka) i jela može se opisati pomoću parametrskog dizajnerskog modela, udovoljavajući estetskim i zahtevima koje je postavio kuvar. Tradicionalni recepti opisuju skup sastojaka sa stalnim količinama, a jelo se može opisati kao tačka u prostoru sastojaka. Međutim, iz kulinarske perspektive, može se definisati funkcija zavisnostisastojaka kako bi se omogućio DoF u receptima: na primer, brašno, kvasac, voda, šećer i so imaju složenu interakciju s glutenskim vezama u testu, tako da se promenom jednog elementa utiče na ostale i finalni proizvod. Može se lako zamisliti kako se recept opisuje kao funkcija sastojaka sa DoF, a ne s određenim količinama. Iako statički recepti ne mogu predstaviti takvu složenost, računarski program to jednostavno ostvaruje, zamišljajući stvarnost u kojoj kuvar, zajedno s inženjerom, gradi recepte na osnovu kuhinjskih eksperimenata i konstruiše visoku DoF funkciju. 
• Teorijski okvir. Pogledajmo sada detaljnije implikacije novih načela kulinarstvs: varijacije, progresija i morfing, koji zajedno ostvaruju dublji doprinos računara u preispitivanju jela i recepata. Načela digitalne gastronomije su: 
• Varijacija. Kada kuvar definiše odnos i zavisnosti između elemenata za kuvanje, svaka večera može predstavljati personalizovani proizvod na osnovu ličnih preferenci i potreba.
• Progresija. Programirani modularni kalup može se koristiti za postizanje različitih varijacija oblika recepta, oslanjajući se na nekoliko različitih ukusa (slatko, kiselo, gorko) i boja, omogućavajući kontrolu struktura ukusa u jelu računarskim algoritmom. 
• Morfing. Prelazi ukusa mogu se planirati, kontrolisati i koristiti za pretvaranje jednog jela u drugo kako bi se ostvorilo putovanje transformacije ukusa kroz pažljivo planirano pozicioniranje (diskretnih) sastojaka koji pružaju vizualni nagovještaj eskalacije okusa koja se odvija na posluženom tanjiru.

• korektan zvučni pritisak na ušnim membranama (pomoću izmerenih HRTF ili BRIR)
• individualna HRTF ili BRIR
• omogućavanje rotacije glave
• omogućite interaktivno istraživanje u dinamičkoj orijentaciji i položaju s praćenim samo-pokretanjem
• konvergencija sobe
• audiovizualna podudarnost
• obuka slušaoca za sistem (iskustvo).

• imerzija (kombinacija senzorskih (fizika/sistem) naznaka sa simboličkim (sadržaj) naznakama su esencijalni za prilagođavanje i angažovanje korisnika
• interakcija (sa digitalnim/virtuelnim artifaktima i avatarima kroz interfejs)
• istraživanje (mogućnost da se korisnici slobodno kreću i otkrivaju ponuđeni svet)
• uverljivost (vernost i valjanost senzitivnih naznaka unutar generisanog okruženja, npr. fotorealizam)
• verodostojnost (koherentnost i doslednost simboličkih naznaka generiranog okruženja u kojem je korisnik pozicioniran)

• medijum (mehanizam sporuke - VR, AI)
• sadržaj (ideja, informacija i doživljena iskustva - priča, zadatak, trivija)
• forma (oblik i struktura sadržaja - simulacija, igra, virtuelni svetovi)

• MR (Mixed Reality) kombinuje realno i virtuelno, registrovano u virtuelnom prostoru, uključujući 3D i 4D, omogućuje interakciju u realnom vremenu; saglasno perspektivi
• AR (Augmented Reality) preklapa računarski-generisani sadržaj na realno okruženje
• AV (Augmented Virtuality) uključuje realne objekte u virtuelnom okruženju
• VR (Virtual Reality) je iskustvo potpune računarske simulacije, virtuelno okruženje.

• Fizički realizam označava da slika generisana računarom je tačan prikaz tačka-na-tačka vrednosti spektralnog zračenja na određenoj poziciji posmatranja u stvarnom okruženju. Računarom generisana slika sadrži identične prikaze svih objekata u svim spektralnim i intenzitetima svetlosne energije stvarne scene.
• Fotorealizam označava da je generisana slika foto-metrički realistična. Slika koju generiše računar proizvodi identičan vizuelni odgovor kao i stvarna scena, i ako se fizičke energije razlikuju u spektralnom i intenzitetnom rasponu.
• Kriterijum funkcionalnog realizma sugeriše da slika koju generiše računar sadrži iste vizualne informacije kao i stvarna svetska scena. Informacije pomažu korisniku da shvati smislena svojstva objekata na sceni, poput oblika, veličina, položaja, pokreta i materijala, i stoga korisniku omogućuje korisno obavljanje vizualnih zadataka.

• Osnovnu ulogu percepcije delovanja zauzima parieto-premotorna mreža mozga koja je uključena kako u toku izvođenja akcije tako i toku percepcije istih radnji koje vrše drugi. Takvo preklapanje između neuronskih aktivacija u neuronskom sistemu povezano je s anticipacijom delovanja  i razumevanja.
• Hijerarhijski model opisuje akcije na mišićnom nivou - kodirajući obrazac mišićne aktivnosti; na kinematskom nivou - kodiranje prostorno/vremenskih svojstava pokreta efektora; na nivou cilja - kodiranje kratkoročnog cilja akcije; ili na nivou namere - kodiranje dugoročne svrhe akcije.
• Osim neuronske aktivnosti koja podržava razumevanje delovanja, značajno je istražiti percepcijsku komponentu procesa, tj. kako su različiti nivoi vizuelne obrade uključeni kada smo suočeni s biološkim kretanjem. 
• Izražena ljudska osetljivost na obrasce pokreta koje stvaraju drugi pojedinci, čak i kada su predstavljeni samo u oblicima skupa tačaka koje se koherentno kreću. Postoje dve kategorije kritičnih vizuelnih obeležja za percepciju biološkog pokreta: globalna obeležja, koje se odnose na akcijske koncepte i kategorije, i lokalna obeležja, koja se odnose na određene parametre kinematike pokreta. Različita obeležja doprinose vizuelnoj i kognitivnoj obradi u odnosu na prototipove akcijskih kategorija i segmentaciju akcije. Interakcija između naših vlastitih kretanja i njihovog uticaja na našu vizuelnu percepciju biološkog kretanja, pokazuje se u činjenici da svojstva ispravne ljudske motorne kontrole, kada su prisutna u promatranom pokretu, mogu olakšati njezinu diskriminaciju od strane ljudskog promatrača. 
• Brzo stičemo sposobnost razumevanja tuđih postupaka tokom prvih godina života. Inicijalna percepcija pokreta zasniva se na preferenciji lica, manipulativnih predmeta, vidljivim pokretima usta i biološkog pokreta uopšte. Takve početne sklonosti posmatranja relevantnih vizuelnih aspekata daju važan doprinos, koji se potom učenjem i interakcijom s okolinom pretvara u korisne građevinske blokove. Razvoj percepcije akcijezasniva se na kategorizaciji, (potencijalno) mentalnoj rotaciji, statističkom učenju, senzimotornom razvoju i imitaciji. Senzimotorno iskustvo i čisto perceptivno, promatračko iskustvo može se upotrebiti kao sastavni blok za razvoj percepcije akcije, sa prednostima i nedostacima ove dve različite vrste učenja. Kao rezultat ovog procesa, stičemo sposobnost razdvajanja promatranih radnji jedni od drugih, segmentiraju se delovanja u manje delove, oblikuju očekivanja i predviđaju tuđi postupci, i konačno formira razumevanje tuđih postupaka i postajemo iskusan socijalni partner. 

• U najranijoj fazi obrade, analiza kretanja može se postaviti kao problem detekcije, gde je cilj identifikovati prostorno-vremenski region slike u kojoj se kretanje događa. Dobro uspostavljena metoda dobijanja vidljivih podataka o kretanju na niskom nivou oslanja se na izračunavanje optičkog protoka, procenu prividnog vektora kretanja u ravn slike. Procenjena polja pokazuju jaku povezanost s ponašanjem područja ljudskog mozga koja su uključena u percepciju pokreta kao V1 i MST, gde je otkriveno da su neuroni usmereni selektivno s namenskim receptivnim poljima. 
• Građevni blok razumevanja biološkog pokreta je sposobnost preciznog prepoznavanja prostorno-vremenskih početnih i krajnjih tačaka radnje, tj. kada se i gde pokret događa. U domenu motoričkog planiranja, pojmovi su povezani s pojmom primitivnog pokreta, glavnim strukturnim elementom delovanja. U računarskom domenu, umesto toga, zadaci često nazivaju problemima detekcija otkrivanja i segmentacije. Iako većina najsavremenijih metoda prepoznavanja ljudskog delovanja deluje na već podešene video sekvence u kojima se događa samo jedna radnja po kadru, gore navedeni zadaci ostaju izazov i ujedno su značajan element za potpuno automatizovane sisteme prepoznavanja pokreta.
• Zadatak segmentacije kretanja posebno posvećuje pažnju manipulacijskim akcijama (što znači da je manipulacija objektima takođe proširena i na generičku interakciju s okolinom) u scenarijima interakcije čovek-robot (HRI). Kontakt i kretanje dva su temeljna aspekta manipulacije i prirodno se koduju ključne informacije o radnji. U stvari, kontakt koduje mesto na kojem se predmet dodiruje ili hvata, i kada i koliko dugo se interakcija odvija; s druge strane, pokret prenosi informacije o tome koji je deo okoline uključen u interakciju i kako se kreće.
• Iznad klasičnog prepoznavanja akcije, nalazi se analiza ekspresivnosti pokreta kao osnovnog elementa mašina s ljudskom socijalnom i emocionalnom inteligencijom. Ekspresivnost pokreta je motorička komponenta emocionalnih epizoda celog tela, koja se ponekad opisuje kao nenamerna akcijska komponenta izražavanja emocija. Moguće je nazvati je i komponentom dinamičkog pokreta u percepciji uticaja, za razliku od komponente statičkog oblika. Široko proučavajući područja psihologije, sociologije i neuronauka, u poslednjim decenijama počela je dobijati ​​sve veću pažnju i na području informatike. U tom je smislu osnovni cilj osmisliti računarsko rešenje za replikovanje na uređaju sposobnosti ljudi da budu svesni svojih i tuđih osećaja i integrisanje tih informacija u komunikaciju s drugima. 

• Prvi zahtev AR sistema je mogućnost povezivanja virtuelnog sadržaja sa realnim okruženjem tako da predstavlja sastavni deo fizičkog okruženja. Registracija virtuelnog sadržaja u fizičkom okruženju zahteva određivanje pozicije i orijentacije posmatrača u odnosu na referentnu tačku u realnom okruženju. U zavisnosti od aplikacije i tehnologije, referentna tačka je fizički objekat ili GPS koordinate ili referentna tačka inercijalnog sistema za praćenje. Proces registracije AR sistema u 3D prostoru sastoji se od faze registracije kada se određuje pozicija i orijentacija posmatrača u odnosu na referentnu tačku u realnom okruženju, i faze praćenja u kojoj se određuje nova pozicija posmatrača u odnosu na predhodno poznatu poziciju i orijentaciju. Virtuelni koordinatni sistem je moguće formirati raličitim transmiterima, 6DoF senzorima, markerima, računarskom rekonstrukcijom vizuelnog 3D modela, inercijalni/GPS i hibridni trekeri.
• Kombinovanje realnih i virtuelnih scena u AR vizualizaciji zahteva procedure kalibracije kamere, registraciju, treking i kompoziciju. Kalibracija kamere je procedura usaglašavanja parametara virtuelne kamere sa fizičkom kamerom (ili optički model korisnikovog pogleda definisanog kamera-oko geometrijom), tako da je računarski generisana slika virtuelne scene korektno registrovana sa pogledom na realno okruženje. Interni parametri fizičke kamere određuju projektovanje 3D scena na 2D slike na osnovu skupa kalibracionih uzoraka poznate geometrije i izračunavanjem odgovarajućih tačaka 3D strukture uzoraka i njihove projekcije na 2D slike. U slučaju kada se ne upotrebljavaju kamere za snimanje realnog okruženja, interni parametri se određuju na osnovu geometrijskog modela posmatračevog oka i ravni slike na ekranu (pinhole camera model). Eksterni parametri se određuju na osnovu praćenja pozicije i orijentacije fizičke kamere. Ako je fizičko okruženje statično, neophodno je pratiti samo poziciju i orijentaciju kamere u odnosu na referentni frejm u fizičkom okruženju. Ako je scena dinamična, neophodno je pratiti svaki dinamički objekat od interesa kako bi se promene u realnom okruženju reflektovale na virtuelnu scenu. Korektna registracija virtuelne scene sa fizičkom scenom zahteva poklapanje koordinatnog okvira upotrebljenog za rendering virtuelne scene sa treking koordinatama okvira u fizičkom okruženju u procesu registracije. Nakon kalibracije virtuelne kamere i registracije virtuelnog prostora (ili korektnog poklapanja) sa fizičkim okruženjem, rendering virtuelne scene na osnovu treking informacija generiše virtuelne slike (slike virtuelne scene) koje odgovaraju posmatračevom pogledu na realno okruženje. Postoje četiri osnovne vrste AR ekrana na osnovu toga kako kombinuju virtuelne slike sa slikama realnog okruženja: video, optički transparentni, projekcija na fizičku površinu i multipleksiranje na oku.
• AR sistemi upotrebljavaju različite ulazne metode koji variraju od 2D korisničkog interfejsa (UI) do 3D i multimodalnih interfejsa kao što su ručni pointeri, govor, pokreti rukom... Metod zavisi od AR aplikacije (wearable computers, AR simulation, training) i vrste zahtevane interakcije: interfejs koji prikazuje AR informacije na realno okruženje, 3D tehnike interakcije za manipulaciju sadržajem u prostoru, upotreba realnih objekata za interakciju sa AR virtuelnim sadržajem, multimodalna upotreba tela posmatrača kao pokreti rukom i govor. Osnovna interakcija je posmatranje vizualizovane AR scene i pretraživanje informacija. Nije neophodan interfejs za navigaciju u 3D virtuelnom prostoru, AR sistem vizualizuje virtuelne objekte registrovane u realnom prostoru i posmatrač koristi prirodne sposobnosti kretanja u fizičkom okruženju. Dovoljno je promeniti orijentaciju glave i/ili usmeriti AR uređaj u pravcu novog pogleda. Zatim je moguće selektovati kanal informacija, personalizovati informacije, selektovati detalje i menjati format prikazivanja informacija.
• Jedna od osnovnih funkcija AR posmatrača je poravnanje dva objekta koja su prikazana pomoću različitih načina projekcije. Jasno je da naš osećaj za veličinu, orijentaciju i lokaciju objekata zahteva snažan osećaj dubine prostora. Istraživanja ljudske percepcije veličine i udaljenosti ukazuju na vrlo komplikovane mehanizme, na koji utiču brojna pitanja mnogo šira od percepcije dubine prostora. Pitanja su grupisana u tri kategorije: 
• Pogreške u implementaciji koje se mogu riješiti pažljivom primenom trenutno dostupne tehnologije: Neophodno je odrediti precizno parametre kalibracije koji određuju vizuelni ugao, perspektivu i binokularnu paralaksu slike u odnosu na posmatrača. Moguće je postići preciznu ortoskopsku projekciju realnog okruženja na ekran ali samo za fiksiranu poziciju posmatrača. Međutim, preciznu projekciju je komplikovano održavati zato što kada se posmatrač pomeri, vizuelni prostor je ponovo izobličen. Dodatno, ako AR grafika nije ortoskopska, koordinate AR i realnog prostora nisu poklopljene, posledica je da interakcija posmatrača sa okruženjem nije korektna. 
• Trenutna tehnološka ograničenja koja će verovatno postati manje važna s poboljšanjem stanja tehnike: Pod pretpostavkom da je ortoskopski grafički prikaz kalibrisan, preostaje problem kako registrovati, ili poravnati, koordinatni sistem virtualnog sveta i stvarnog okruženja. Nadalje, iako se skale mogu tačno podudarati, teško je održavati precizno poravnanje između grafike i video snimka, ili između grafike i direktnog prikaza, obzirom na različita kašnjenja povezane sa različitim načinima prikazivanja. Održavanje registracije u dinamičnom, promenljivom okruženju vrlo je izazovno tehnološko pitanje. AR sistem u kojem grafika zaostaje za direktnim pogledom može brzo dovesti do vrtoglavice, mučnine i drugih simptoma sličnih bolesti simulatora, što je uzrokovano disparitetima između informacija dobijenih vizuelnim, vestibularnim i proprioceptivnim čulima. Potpun i tačan osećaj prostora zahteva vrlo široko vidno polje. Naše razumevanje okruženja je generalno izgrađeno korak po korak, koristeći relativne rasporede svakog objekta u potvrdi naše percepcije. Kada zbog neprirodno uskog vidnog polja, ne možemo videti važne delove okruženja gubimo poverenja u našu percepciju. Što je šire vidno polje, potpunija je i preciznija dubinska percepcija. Ograničenja i neusklađenost rezolucije, sjajnosti i kontrasta direktne slike realnog okruženja i grafike na monitoru mogu uticati na percepciju dubine i veličine objekata. Vertikalna neusaglašenost leve i desne stereo slike prouzrokuje degradaciju performansi. Neusklađenost realne slike i grafike u zavisnosti od tačke posmatranja je posledica pogrešaka praćenja pozicije prilikom brzih pokreta glave posmatrača. 
• Složeni problemi koji zahtevaju rešavanje novih temeljnih razvoja tehnologije: Bez potpunog modela okruženja, nemoguće je u potpunosti primeniti okluzivnu naznaku. Međutim, akvizicija i održavanje modela stvarnog okruženja može biti vrlo komplikovano i neisplativo rešenje. Neophodno je povećati dubinsku oštrinu direktne slike okruženja, zato što stereoskopski ekrani imaju uveliko proširenu, dubinsku oštrinu. Percepcija dubine i percepcija prividne veličine u čisto optičkim sistemima pokazuju postojanu tendenciju umanjenja objekata. Iako postoji određen broj činjenica koji doprinose, učinak je smanjen u scenama koje su bogate naznakama dubine, fiksna pogrešna akomodacija udaljenosti je veliki deo problema. Nadalje, iznosi ugroženosti procena udaljenosti i procena veličine nisu neophodno isti i različito su ugroženi činiocima okruženja, kao što je dostupnost dubinskih naznaka. Svi sistemi za stereoskopski prikaz zahtevaju fokusiranje očiju na dubinu ekrana kako bi se jasno videli objekti, bez obzira na dubinski položaj objekata. Akomodacija i konvergencija blisko su povezani vizuelni sistemi, a svaki od njih pokreće drugog pod različitim uslovima. Konflikt akomodacije i konvergencije je glavni uzrok naprezanja očiju u stereoskopskim prikazima, ali mehanizmi su fleksibilni i robustni i moguće je brzo prilagođenje novim situacijama. Nadalje, stanje mirovanja dva sistema se znatno razlikuje. Dok su akomodacije i vergencija u korelaciji sa određenim vizuelnim zadacima, čini se da upravljački sistemi ne nastoje održavati jednake udaljenosti. Većina sistema virtualne i proširene stvarnosti pretpostavlja da je percipirana dubina objekta u tački konvergencije. Međutim, to nije nužno slučaj. Iako je akomodacija u najboljem slučaju slaba naznaka dubine, može svakako uticati na percepciju dubine i percepciju veličine. U AR situaciji, gotovo uvek će postojati neusklađenost akomodacije između stvarnih i virtualnih objekata. Akomodacijska udaljenost za virtuelne objekte je uvek udaljenost od posmatrača do ekrana, dok je udaljenost akomodacije za stvarni objekat u skladu sa položajem objekta. Što su veće razlike u akomodacijskim udaljenostima, to je verovatnije da će naznaka biti jača i značajnije uticati na performanse. Bez obzira na to koliko je razvijen model stvarnog sveta, gotovo je nemoguće stvoriti realne senke koje izgledaju kao da padaju na stvarne objekte, posebno u složenim, stvarnim uslovima [D.A.M]

Audio scena

Stvarnost dopunjena prostornim audio informacijama

• Monoauralni sistemi su ograničeni jednim zvučnikom i podešavanjem samo boje zvuka (timbre) i percipiranim rastojanjem izvora zvuka do mikrofona. Filtriranje monoauralnog zvučnog signala koji ne sadrži prostorne informacije kroz prethodno izmereni par HRTF funkcija generiše par električnih signala koji sadrže sve informacije koje se odnose na lokaciju zvučnog izvora. Reprodukcija ovog para električnih signala (na slušalicama ili paru zvučnika + poništavanje preslušavanja) generišu se prostorne naznake, zbog čega slušalac uočava virtuelni zvuk koji dolazi iz mesta gde je izvor bio u vreme merenja. 
• Binauralni sistemi omogućuju potpunu kontrolu zvuka koji dolazi na svako uho i modeluju akustička svojstva ljudskog tela (dominantno torzo i glava i ušne školjke) kako bi se generisale auditivne naznake sa specifičnim prostornim atributima. Akustičke osobine opisane su prenosnim funkcijama HRTF (head-related transfer function) i individualne su. Tipično, određena scena se snima modelom slušaoca sa mikrofonom postavljenim na uho, ili se HRTF funkcije mere test signalima. Kada se koriste zvučnici za reprodukciju, potrebno je primeniti poništavanje zvuka koji dopire i do levog i desnog uha (cross-talk cancellation), što predstavlja osnovno ograničenje. Metode koje sadrže uklanjanje preslušavanja nazivaju se transauralne. U svakom slučaju, značajno je da se kretanje slušaoca, posebno rotacija glave, prati u realnom vremenu i uzima u obzir u toku reprodukcije. Kada se koriste slušalice za binauralnu reprodukciju, signali na oba uha se mogu kontrolisati pojedinačno, čime se ograničava svako preslušavanje. Osim preciznije kontrole binauralnih signala, blokiraju se i neželjeni zvuci kao što su odjeci i reverberacija. Međutim, redukcija signala iz okruženja može biti nametljiva i iritantna za slušaoca. Generalno, postoje tri tipa prostorne simulacije na slušalicama. Reprodukcija identičnog signala (diotic display) simultano levom i desnom kanalu generiše senzaciju da su svi izvori zvuka lokalizovani unutar glave slušaoca (lateralization). Reprodukcija stereo signala (dichotic display) koji predstavljaju izmenjen frekvencijski zavisan (comb filtering) interarualni intenzitet ili vremenske razlike levog i desnog kanala. Efekat se ostvaruje jednostavnim skaliranjem i kašnjenjem signala koji dopiru na levo i desno uho. Metod ne omogućava korektnu prostornu raspodelu izvora zvuka jer slušalac doživljava da se zvuci kreću samo unutar glave od jednog do drugog uha (panning). Metod koji omogućava reprodukciju većine prostornih naznaka dostupnih u stvarnom svetu, zasniva se na filtriranju zvučnog signala i HRTF transformaciji tako da oponaša akustički signal koji je stupio u interakciju sa torzom, glavom i ušnim školjkama slušaoca. Transformacija se postiže standardnim ili dinamički personalizovanim HTRF prenosnim funkcijama.
• Stereofonija (gr. stereos - čvrsti, phone - zvuk, ton, glas) je ograničena podešavanjem amplitudne i/ili vremenske razlike između koherentnih signala koje emituju dva ili više zvučnika u konfiguraciji jednakokrakog trougla (+/-30°, sweet spot >1m). Povećanje amplitude signala emitovanog sa određenog zvučnika pomera percipiranu lokaciju virtuelnoh izvora prema odgovarajućem zvučniku (amplitude panning). Kašnjenje zvučnog signala pomera percipirani položaj virtuelnog izvora od odgovarajućeg zvučnika (delay panning). U početku, takve amplitudske i vremenske razlike generisane su u toku snimanja scena odgovarajućim rasporedom mikrofona. Prostorno koincidirajući raspored mikrofona odgovarajuće usmerenosti generiše amplitudne razlike u izlaznim signalima. Prostorno nekoincidirajući raspored omnidirekcionih mikrofona prvenstveno stvaraju vremenske razlike, dok usmereni mikrofoni generišu i amplitudne i vremenske razlike. Odgovarajuće amplitude i vremenske razlike mogu se generisati na ulaznim signalima i primenom digitalne obrade signala (DSP). Matematički opisi odnosa između razlike signala sa zvučnika i percipirane lokacije virtuelnog izvora nazivaju se zakoni tranzicije (panning laws). Primer je VBAP (Vector Base Amplitude Panning) koji u horizontalnoj konfiguraciji pomera virtuelne izvore između parova zvučnika. Ako sistemi koriste i izdignute zvučnike, VBAP izvodi prebacivanje između trostrukih zvučnika, ali sa znatno smanjenom perceptualnom verodostojnosti. Sproveden je niz istraživanja percepcija stereofonije i pretpostavljena je sumirajuća lokalizacija (summing localization) kao osnovni psihoakustički mehanizam superpozicije zvučnih polja (tipično malog broja) dovoljno koherentnih signala koji propagiraju u vremenskom intervalu koji je manji od približno 1 ms. Stereofonija najbolje funkcioniše u horizontalnoj ravni kada je slušalac okrenut prema aktivnim zvučnicima. Tranzicija na bočnim zvučnicima ili zvučnicima na različitim visinama manje je pouzdana i veoma osetljiva na translaciono pomeranje slušaoca i rotaciju glave. Stereofonija pokazuje tri osnovna ograničenja. Izražena je optimalna zona pozicije slušaoca (sweet spot) izvan koje su znatno narušeni prostorna percepcija i ravnoteža boje zvuka. Drugo, nije moguće generisati auditorne naznake koje su bliže slušatelju od instaliranih zvučnika (značajno ograničenje u velikim prostorima). I treće, ako se uzme u obzir standardna dvo-kanalna stereofonija, sadržaj i njegova reverberacija može se prikazati samo iz smera između zvučnika. Dvo-kanalna stereofonija ostvaruje prihvatljive rezultate i kada se reprodukuje na slušalicama umesto dva zvučnika u prostoru. Međutim, reprodukcija odgovarajućih signala na slušalicama predstavlja bitno drugačiju situaciju u odnosu na reprodukciju na zvučnicima. U reprodukciji na slušalicama ne dolazi do preslušavanja (cross-talk) između dva kanala jer se svaki kanal reprodukuje na samo jednom uhu. Kao posledica toga, amplitudske i vremenske razlike između komponenti signala prenose direktno interauralne naznake. Tipično, auditivni doživljaj pojavljuju se unutar glave slušaoca (in-head localization) i panorama se proširuje. Konačno, stereofonski sadržaj se obično priprema tako da je prostorna percepcija optimalna kada se reprodukuje u prostoriji za slušanje sa specifičnim akustičkim svojstvima. Doprinos sobe za slušanje reverbaciji sadržaja nije prisutna prilikom reprodukcije na slušalicama. Ali prenosna funkcija slušalica nije ravna, dizajnirana je za propagaciju od zvučnika do granice spoljašnjeg i srednjeg uha (drums), pri čemu se pretpostavljaju uslovi prostiranja slobodnog polja ili difuzno zvučno polje. 
• Okružujući zvuk (surround sound) povećava broj upotrebljenih zvučnika na 5.1/7.1/9.1/22.2 plus jedan/dva opcionalna niskotonca (subwoofer). Tipično, levi i desni zvučnici upotrebljavaju se slično kao dvo-kanalna stereofonija; centralni zvučnik se upotrebljava za reprodukciju sadržaja sa fiksnom lokalizacijom u sredini; SLeft i SRight zvučnici upotrebljavaju se za reprodukciju dekorelisanih signala kao što je reverberacija koja poboljšava prostornu percepciju. Pojedine zvučnike je moguće upotrebiti i nezavisno za reprodukciju sadržaja, kada se signal šalje samo jednom zvučniku i na taj način pouzdano lokalizuje izvor na mestu selektovanog zvučnika. Imerzivni sistemi proširuju zvučnu sliku okružujućih sistema (5.1.2-5.1.4, 7.1.2-7.1.4, 24.1.10) u vertikalnu ravan (lokacija zbučnika/izvora na zidu/plafonu prostorije) za 3D reprodukciju. 
• Generisanje zvučnog polja (Wave Field Synthesis, Higher Order Ambisonics) zasniva se na više-kanalnim sistemima zvučnika kako bi se generisao audio prostor u kojem je zvuk lokalizovan na prirodan način. Broj zvučnika određuje veličinu ovog područja (sweet spot). Zbirni akustički signal koji dopire do svakog uho slušaoca u bilo kojem trenutku definisan je sumom signala koji potiču iz pojedinih izvora zvuka u okruženju. Na taj način, menjajući osobine signala svakog zvučnika u nizu, moguće je uticati na prostorne audio naznake. Binauralne naznake su interauralna razlika u vremenu propagacije do levog i desnog uha, i razlika interarualnih intenziteta. Dodatna naznaka udaljenosti u slučaju niskog stepena reverberacije (anechoic) je spektar zvuka (akustička mapa tela slušaoca) koji dopire do ušiju. Međutim, proces generisanja zvučnog polja nije nimalo jednostavan, metoda ne dopušta da signali koji stižu na svako uho budu potpuno nezavisno procesirani jedan od drugog. Položaj zvučnika i prostorna akustika su kritični za upotrebu sofisticiranih metoda prostornog renderinga (ambisonics, vector-based amplitude panning, wave field synthesis).

• Machine learning (ML) upotrebljava metode neuronskih mreža, statistiku, istraživačke operacije za otkrivanje skrivenih uvida u podatke bez eksplicitnog programiranja i i štaje zaključak.
• Neuronska mreža (NN) je mašinsko učenje gde je mreža sastavljena od povezanih jedinica, poput neurona, koji procesiraju informacije dobijene iz eksternih izvora, razmenjujući potom informacije s drugim jedinicama. Proces zahteva višestruke obrade istih informacija od raznih jedinica kako bi se pronašla veza i ustanovio smisao u inače nedefinisanim podacima.
• Deep learning (DL) koristi ogromne neuronske mreže i kombinuje ih s mnogim slojevima procesivnih jedinica, koristeći ogroman napredak u sposobnostima i snazi procesiranja koji je ostvaren u proteklim godinama. Na taj način dolazi se do naprednih tehnika učenja veoma kompleksnih obrazaca u ogromnim količinama podataka.
• Cognitive computing je AI podgrupa gde se teži prirodnoj interakciji između mašina, nalik ljudskoj interakciji. Cilj je da se simulacijom ljudskog procesiranja interpretiraju podaci onako kako to čini čovek. 
• Computer vision (CV) predstavlja nešto slično, s tom razlikom što se ovde AI fokusira na procesiranje i analizu podataka kako bi ih interpretirao u vizuelnom smislu, odnosno da omogući da mašina razume sliku i video na način na koji ih čovek razume i da ih interpretira što sličnije čoveku.
• Natural language processing (NLP) je fokusiran na interpretaciju u domenu jezika; cilj je ostvariti sposobnost kompjutera da analiziraju, razumeju i generišu ljudski jezik i govor. Naredna NLP faza je prirodna komunikacija s ljudima putem jezika.

• Percepcija okruženja je osnovna funkcija autonomnih vozila, obezbeđuje vozilima ključne informacije o uslovima vožnje, uključujući zone slobodne vožnje, prepreke u okruženju, brzinu, pa čak i predikciju ovih budućih stanja. Zadatak percepcije okoline uspešno se rešava upotrebom senzora, LiDAR laserskog skenera, radara milimetarskih talasa, ultrazvučnih radara, video kamera, senzora položaja. Efikasni algoritmi filtriranja usvojeni su za procesiranje informacija sa svih senzora. Jedno od osnovnih pitanja multi-senzorskih sistema je selekcija odgovarajućeg algoritma za fuziju kako bi se u potpunosti iskoristile prednosti svakog senzora, uzimajući u obzir raznolikost i složenost informacija. Osnovni zahtevi uključuju robusnost, sposobnost paralelne obrade, brzinu i preciznost obrade. Tehnike fuzije podataka u autonomnim sistemima zasnivaju se na Bayesovoj statističkoj teoriji, tehnologiji neuronskih mreža, fazzy metodama. 
• Istraživački napori su fokusirni na sledeća dva aspekta: percepcija stanja i međusobna povezanost mreže vozila (V2X). Percepcija stanja uključuje percepciju stanja saobraćaja i percepciju stanja tela, uglavnom pozicioniranje vozila, kao i navigacijske module kao što su globalni navigacijski satelitski sistem (GNSS), inercijalni navigacijski sistem (INS) i kinematika u realnom vremena (RTK). V2X mrežna interkonekcija obuhvata razmenu informacija, interoperabilnost i koordinaciju između vozila i svih učesnika saobraćaja, uključujući vozilo-infrastruktura (V2I), vozilo-pešak (V2P) i vozilo-vozilo (V2V). Nadalje, kako bi se osigurala konzistentnost i primenjivost različitih podataka o sceni, sistem za percepciju sadrži fuziju podataka, u kojem se izlaz više senzora kombinuje u koordinatnim sistemu vozila kako bi se uspostavila povezanost sa jedinstvenim vremenskim oznakama.
• Donošenje odluka i planiranje putanje potencijalno poboljšava efikasnost misije i generisanje željene putanje, omogućuje da vozilo deluje u skladu sa konfiguracijom terena, pravilima sigurnosti i bezbednosti, dinamikom vozila i kontekstom okruženja. Donošenje odluka sastoji se od planiranja misije i obrazloženja ponašanja. Kada se vozilo samostalno kreće kroz okruženje, planer misije uključuje novo osmatranje, ažurirajući lokalne mape, a zatim se generiše novo pravilo. Planer ponašanja implementira obrazloženje ponašanja i novo stvoreno pravilo, koje može uključivati ​​različite funkcije praćenja puta, promene u saobraćaju, parkiranje, izbegavanje prepreka i oporavak u neregularnim uslovima. Planiranje putanje sadrži planiranje globalne i lokalne putanje. Globalno planiranje oslanja se na potpune statičke informacije o okruženju i sistem preciznog mapiranja. Postoji nekoliko uobičajenih metoda kao što su grid algoritam, metoda pregleda, metoda topologije i drugi statički algoritmi. Lokalno planiranje putanje oslanja se na informacije o okruženju u realnom vremenu koje se mogu dinamički prikupljati sa svih vrsta senzora. Metode planiranja lokalne putanje uključuju veštačko polje potencijala, histogram vektorskog polja, polje virtualne sile. 
• Planiranje odluka, uključujući donošenje odluka i planiranje, odgovara kognitivnom sloju sistema bez vozača. Donošenje odluka definiše raspodelu funkcija svakog dela, kao i njihov međusobni odnos, i donosi odluke o načinu sigurnosti vozila, dok je planiranje posebno osmišljeno za genesanje bezbednih, putanja bez kolizije u realnom vremenu. Što se tiče podsistema za planiranje, njegove temeljne tehnologije uključuju funkciju rutiranja i funkciju planiranja aktivnosti. Konkretno, funkcija usmeravanja se odnosi na rešavanje problema rutiranja od tačke A do tačke B, a njegov izlaz je redosled kolovoznih traka zasnovan na mapi visoke definicije. Funkcija planiranja aktivnosti interpretira makroskopske instrukcije odluka o ponašanju kao trajektoriju sa informacijama o vremenu, tako da generiše upravljanje sa najnižom povratnom vezom stvarnom pogonu vozila. Ukratko, neophodno je dobro osmišljeno akcijsko planiranje, sa ciljem dobrog rešavanja problema optimizacije prostorno-vremenske putanje pod određenim ograničenjima.
• Upravljanje kretanjem izvršava neophodne naredbe planirane misije i generiše ulaze na nivou hardvera koji dovodi do željenog kretanja. Upravljanje se deli u dve kategorije: lateralnu i longitudinalnu kontrolu. Bočna kontrola je upravljanje normalno na smer kretanja, cilj je upravljanje vozilom tako da automatski održava položaj vozila u središtu kolovozne trake, dobru udobnost vožnje i stabilnost pri različitim brzinama, opterećenjima, otpornostima vetra i uslovima na putu. Uzdužna kontrola, koja sadrži kontrolu brzine i kontrolu ubrzanja/usporenja, povezana je sa kontrolom udaljenosti i brzine između vozila radi sigurnosti i udobnosti, među kojima su tipični slučajevi kontrola brzine i uprvljanje kočnicama u hitnim slučajevima. Dodatno, kontrola sila proklizavanja na gumama je ključna. Osim toga, bočna i uzdužna dinamika vozila spojeni su u kombinovanoj bočnoj i uzdužnoj regulaciji, gde je stepen spajanja zapravo funkcija sila guma i parametara vozila. Uopšteno, postoje dva različita pristupa dizajniranju kontrolore vozila. Jedan način je oponašanje operacija vozača, a drugi se zasniva na dinamičkim modelima vozila i strategijama upravljanja.

• Prilagođavanje zadataka vožnje je funkcionalnost u kojoj je neophodno da korisnik samo unese početnu tačku, završnu tačku, prolazne tačke na putu, kao i odgovarajuća vremena dolaska za svaki zadatak vožnje. 
• Kooperativna vožnja u realnom vremenu koordinira ponašanje vozača proizvoljnog broja vozila prema zahtevima korisnika, kao i praktični putni saobraćaj, kako bi se izbegla zagušenja i incidenti. 
• Upravljanje energijom omogućuje vozilima upotrebu različitih tehnologija punjenje u konverziju čiste energije direktno u električnu energiju, kao što je bežično punjenje i tehnologija solarnog električnog punjenja. 
• Mehanička rekonstrukcija prilagođava organizacijsku strukturu mehaničkim komponenti vozila i sprovodi automatsku mehaničku deformaciju prema prostornim ograničenjima okoline.
• Adaptivna selekcija moda se uglavnom oslanja na različite senzore percepcije za praćenje terena (npr. pesak, planine, centar grada ili ruralna područja) i scenarija vožnje, a zatim se prebacuje između različitih načina vožnje u skladu sa rezultatom percepcije.
• Fuzija virtualne stvarnosti je čvorište za razmenu cyber-fizičkih informacija okruženja vozila i korisnika, kao što je prikazivanje stanja vožnje i virtuelni korisnički interfejs na tehnologiji holografske projekcije za realnu okolinu u blizini, kao što su trgovine, restorani, i bioskopi.
• Inteligentna interaktivna kontrola pomaže korisniku u interakciji sa vozilom putem glasa, ponašanja i moždanih talasa za upravljanje vozilom [D.A.M]

• Prostorni vidni ugao (FoV) je značajan AR parametar. Da bi se postigao razuman nivo imerzije, neophodno je AR konstrukciju besprekorno uklopiti sa stvarnim okruženjem. Mali prostorni ugao znači da ne možete odjednom videti veći deo proširenog okruženja, što prouzrokuje neprirodno skeniranje glavom - kao da gledate kroz periskop - otkrivate AR objekte u vašem okruženju, umesto da dopustite intuitivno mapiranje AR konstrukcije kao deo stvarnog okruženja. Vidno polje od 50 stepeni je još uvek daleko od današnjih VR slušalica koje pokrivaju oko 110 stepeni vidnog polja - AR korisnici zahtevaju prostorne uglove veće od 90 stepeni. 
• Klasifikacija objekata u realnom vremenu. Trenutno 99% AR aplikacija i demonstracija za podlogu imaju radni sto ili pod zato što ih je jednostavno detektovati i klasifikovati. Ravan jednog poda ili zida jednaka je ravni druge i može se pouzdano pretpostaviti da nastavlja kao takva u svim smerovima do preseka sa drugom ravni. Složenije objekte, AR može snimiti kamerom ali klasifikovanje nije jednostavno. To je razlog upotrebe markera na objektima kako bi olakšali praćenje i interakciju. Ručno pisanje algoritama za klasifikovanje svake vrste objekata, ili čak samo one uobičajene, masovno je složen zadatak. Ali možda ćemo moći osposobiti računarske neuronske mreže - DL se automatski prilagođava u vremenu - za pouzdano detektovanje mnogih uobičajenih objekata u našem okruženju. Sledeći korak je proširiti zbirku mogućih klasifikacija, a zatim spojiti detekciju na osnovu slika sa podacima o mapiranju okruženja u stvarnom vremenu prikupljenim iz AR sistema praćenja. Nakon što postignemo da AR sistemi detektuju i klasifikuju svet oko nas, možemo započeti projektovanje adaptivnih AR sistema.
• Osnovna verzija adaptivnih VR sistema je projektovanje različite veličine okruženja. Potrebno je mnogo godina razvoja da bismo shvatili kako stvoriti uverljiva iskustva koja se mogu prilagoditi naizgled beskonačnom skupu promenljivih okruženja - od tlocrta do visine plafona do rasporeda nameštaja i još mnogo više - u milijardama različitih domova i zgrada, a da ne spominjemo otvorene prostore. Neophodno je osmisliti prilagodljive AR aplikacije koje će iskoristiti stvarni prostor i predmete oko nas, i kroz vrlo pametan dizajn, smisliti upravljanje ogromnim brojem varijabli koje dolaze sa tim. 

• XR1 video funkcionalnosti podržavaju 4K@60fps rezoluciju visokog kvaliteta. Integrisani procesor za projekciju slike podržava hardverski ubrzanu kompoziciju, podršku za dva ekrana, 3D slojeve i vodeće grafičke API (OpenGL, OpenCL, Vulkan) za programiranje aplikacija. Platforma omogućava napredne mogućnosti obrade video signala, osnove za VIO tehnologiju vizuelne inercijalne odometrije, koja korisnicima omogućuje kretanje u virtualnom svetu ili interakciju sa proširenim objektima u AR iskustvu. 
• XR1 audio funkcionalnosti podržavaju doživljaje visoke vernosti, always-on wake-word glasovnu aktivaciju, kao i 3D Audio HRTF i Bluetooth reprodukciju. 
• Interakcija je omogućena u tri ili šest stepeni slobode (3DoF, 6DoF) praćenja položaja glave i kontrolerima za XR uređaje. Integrisano senzorsko čvorište i optimizirane sposobnosti fuzije senzora omogućuju korisnicima bogate interakcije sa pokretima i latencijom pokret-foton znatno ispod teorijski potrebnih 20 ms.

• [60 BC] spektakularno oslikana scena gotovo u potpunosti ispunjava vidno polje promatrača (Great Frieze - Villa dei Misteri - Pompeii) prekriva potpuno zidove sobe br.5 sa 29 vrlo realističnih likova u prirodnoj veličini na pozadini sjajnih crvenih i mermernih inkrustacija, ritmiziranih i grupisanih u oecusu dimenzija 5x7 metara
• [1343.] fresko oslikana scena iz lova formira potpuni prostor iluzija (Chamber of the Stag - Tour de la Garde-Robe - Avignon) prekriva 4 zida dimenzija 8x9 metara 
• [1518.] oslikani prostor sa iluzijom dubine (Sala delle Prospettive - Villa Farnesina - Rome) prekriva potpuno zidove sa fresco oslikanom dvoranom sa stubovima u perspektivi koja okružuje posetioce sobe i sa dodatnim 3D arhitektonskim elementima koji naglašavaju imerziju
• [1822.] imerzija Biblijskog Jerusalema (Complex Sacro Monte - Varallo)
• [1694.] barokne panorame na svodovima (The Nave - Sant’Ignazio, Rome)
• [1793.] soba iluzija (Drakelowe Hall - Derbyshire) camera obscura
• [1793.] kompletan kružni/konkavni kanvas/panorama u korektnoj perspektivi (Panorama Rotunda - Leicester Square, London)
• [1922.] kružna panorama 8 slika u ovalnim sobama (Claude Monet - Musée de l'Orangerie - Giverny, France)
• [1939.] Futurama (World’s Fair - New York)
• [1962.] Sensorama Simulator (M. Heilig)
• [1984.] Omnimax Theater (IMAX Dome)
• [1862-2018] Pepper's Ghost (Pulse Evolution, BASE Hologram]

• [1820-1830 Phenakistiscope] prvi poznati praktični uređaj za stvaranje iluzije kontinuiranog kretanja na osnovu posmatranja niza odštampanih statičnih slika oko kružnog diska
• [1820-1860 Zoetrope] uređaj je posedovao crteže objekata u pokretu unutar rotirajućeg bubnja, posmatrač slike gleda kroz uski vertikalni prorez sa strane bubnja
• [1870 Zoetrope] prva prekretnica razvoja filma: fotografska tehnika razvijena u studijama faza pokreta jednog predmeta
• [1870 Camera array] druga prekretnica razvoja filma: E. Muybridgea pravi snimke konja u pokretu nizom od 24 i više fotografskih aparata i kasnije projektuje na ekran (prva poznata filmska slika)
• [1893 Kinetoscope] prvi svetski glumci na filmu snimljeni su i reprodukovani u javnosti (Blacksmith Scene) pomoću uređaja koji je posedovao mali prozor na vrhu za posmatranje scene
• [1895 Vitascope] najranije poznati primer (Annabelle Serpentine Dance) ručno obojenog filma; patentiran prvi pravi filmski projektor i sledeće godine otvorena prva zgrada posvećena isključivo prikazivanju pokretnih slika (New Orleansu)
• [1900- ] mnoge nove tehnike (stop-motion, true color film, early 3D), bioskop postaje uobičajen a formira se i studio za snimanje filmova (Disney, Universal, Paramount, 20th Century Fox)
• [1950-1960] zlatno doba razvoja (vizualni efekti)
• [1990- ] moderne tehnike (CGI, 3D)
• [2000- ] računarska animacija, VR&AR...