Tensorrt for RTX: Optimeret AI-inferens for hver Nvidia GPU automatisk 0 kommentarer
Billede: nvidia
Det er nemt i spil: Med 3D API’er som DirectX eller Vulkan understøttes ny hardware direkte og kører normalt hurtigere uden yderligere justeringer. I tilfælde af AI-software er dette dog ikke tilfældet på den måde, som test med forbruger-AI-software på computerbaser har vist i NVIDIAs Blackwell-grafikkort.
Der er i øjeblikket problemer uden separat optimering
DirectML API, som virker overalt, ser ikke ud til at være påvirket af dette problem så meget, men Nvidia, der specialiserer sig og optimerer til GeForce-kort, ser ud til at være det endnu mere. Uden en enkelt tilpasning, nok bemærket i bedste fald for hver GPU, øges ydeevnen med ny hardware ikke – og programmet fungerer ikke engang så sjældent.
Dette skulle nu ændre sig, som Nvidia annoncerede ved Microsofts Build Von-udviklerbegivenhed. Under navnet “Tensorrt for RTX” leverer Nvidia en revideret version af sine egne softwareværktøjer, hvormed det i fremtiden ikke længere vil være nødvendigt for udviklere at skulle optimere deres program til hver GPU, nogle gange hver grafikkortmodel.
Linealen er automatisk optimeret til din egen GPU
Dette vil blive gjort automatisk af Tensorrt for RTX i fremtiden. Tensorrt-optimering vil i fremtiden foregå i realtid på din egen pc og bør tage et par sekunder. Hvis processen er fuldført, bør Tensorrt-ydelsen være den samme, som hvis udvikleren havde kørt programmet til deres eget grafikkort manuelt. Hertil kommer, at den nye version af Tensorrt forventes kun at være en ottendedel så stor som den gamle – formentlig fordi optimeringer til alle GPU’er ikke længere skal medtages.
Den nye version af Tensorrt vil ligesom de ældre varianter fungere på alle GeForce-RTX grafikkort.
Tensorrt til RTX vil være tilgængelig til download fra Nvidias udviklerside i løbet af Junis og kan integreres i din egen software derfra. Nogle udviklere har også tidlig adgang til funktionen, hvor Nvidia forventer de første versioner af programmet her i løbet af juni.
Techastuce modtog oplysningerne fra NVIDIA på forhånd. Disse blev gjort tilgængelige under NDA. Det eneste krav var det tidligst mulige tidspunkt for offentliggørelse. Producenten havde ingen indflydelse på rapporten, der var ingen forpligtelse til at offentliggøre.
Emner: Calcutex 2025 GeForce grafikkort nvidia
Alexandre, uddannet ingeniør, deler sin viden om GPU-ydeevne til gaming og kreativt arbejde.
