NVIDIA AR SDK debuterer i populær OBS-plugin StreamFX som tillater ansiktsgjenkjenning gjennom standard webkamera

NVIDIA har offisielt lansert sitt etterlengtede Augmented Reality (AR) Software Development Kit (SDK) optimalisert for Live Streaming, Gaming, samt videokonferanseplattformer. Teknologien har debutert i StreamFX, et svært populært OBS-plugin. Teknologien lover noen fantastiske muligheter, inkludert å oppdage og låse på ansikter, og skape et 3D-maske i ansiktet, alt sammen med et vanlig webkamera.

NVIDIA har nå introdusert AR SDK for Live Streaming, som bringer kunstig intelligens (AI) til de stadig mer populære og mye brukte verktøyene for fjernkonferanse, kommunikasjon og samarbeid. Det hevdes at teknologien også hjelper spillere. Overraskende nok kan brukere dra nytte av tillegg av AI med et standard webkamera, hevder NVIDIA.

Hvordan fungerer NVIDIA AI AR SDK for live streaming?

Som forventet bruker NVIDIA AR SDK, også kjent som NVIDIA RTX Broadcast Engine, de kraftige og allsidige Tensor Cores på NVIDIA RTX GPUer. SDK kan aktivere rask og angivelig sporing av høy kvalitet gjennom et eksklusivt backend, skybasert AI-nettverk som ble lansert i fjor. NVIDIA hevder at teknologien og nettverket kan levere nøyaktig ansiktssporing; ansikts landemerkesporing av ansiktsform, lepper, øyne, øyenbryn og nese med 3 frihetsgrader; og et avansert ansiktsnett (en 3D-rekonstruksjon av et menneskelig ansikt og hodestilling) med 6 frihetsgrader.

NVIDIA AI AR SDK for Live Streaming har debutert gjennom StreamFX, et populært plugin for OBS (Open Broadcaster Software). AR SDK er nå tilgjengelig på GitHub. Interesserte utviklere kan benytte seg av det samme ved å laste det ned fra NVIDIAs nettsted også.

Den nye versjonen av StreamFX bruker SDK til å lage et smart kamera som automatisk beskjærer og zoomer inn på brukeren, og holder dem sentrert i rammen når de beveger seg. Når han snakket om den spennende nye utviklingen, sa Michael Fabian ‘Xaymar’ Dirks, StreamFX Author,

“Det nye Face Tracking-filteret i StreamFX krevde kompleks matematikk og maskinlæring som ville tatt noen måneder om ikke år å stille inn på mange maskiner. Takket være NVIDIAs AR SDK ble det imidlertid gjort på kort tid, og kjører på hvilken som helst NVIDIA RTX-maskinvare som blir mer og mer vanlig takket være NVENC H.264-koderen på den. Dette har drastisk redusert den nødvendige utviklingstiden fra år til bare to uker, og uten ekstra kostnad også. ”

Fabian tydelig antydet at utviklere nå har en kraftig SDK som NVIDIA har introdusert for å øke funksjonene og funksjonene til flere plattformer med AI-basert AR vesentlig. Det er unødvendig å legge til at spillutviklere, live konferanser og live streaming plattformer er satt til å tjene enormt på NVIDIA-plattformen. Bare for å oppsummere utvider NVIDIA AR SDK, som bringer kraften til AI til live streaming, følgende funksjoner gjennom et standard webkamera:

• Spore ansikter på kameraet for å identifisere ett eller flere motiver på et bilde,
• Overlegge eiendeler på en person for å legge kostymer eller effekter på mennesker,
• Kontrollere en animert eller spillfigur med ansikts- og hodebevegelser.

Det er viktig å merke seg at NVIDIA har tilbudt sin AR SDK som en åpen beta-plattform. Dette betyr helt klart at utviklere bør forvente noen feil, og oppfordres til å rapportere det samme til NVIDIA for ytterligere finjustering av plattformen.