Tensorrt for RTX: Optimerar automatiskt Inference II för varje Nvidia GPU

Tensorrt för RTX: Optimerad AI slutledning för varje GPU automatiskt 0 kommentarer

Tensorrt for RTX: Optimerar automatiskt Inference II för varje Nvidia GPU

Bild: nvidia

Det är enkelt i : med 3D API:er som DirectX eller Vulkan stöds ny hårdvara direkt och går vanligtvis snabbare utan ytterligare justeringar. När det gäller AI-mjukvara är detta dock inte fallet på det sätt som tester med konsument-AI-mjukvara på datorbaser har visat i NVIDIAs Blackwell-.

Det finns för närvarande problem utan separat optimering

DirectML API, som fungerar överallt, verkar inte påverkas så mycket av det här problemet, men Nvidia, som specialiserar sig och optimerar för -kort, verkar vara ännu mer så. Utan en enda anpassning, förmodligen märkt i bästa fall för varje GPU, ökar inte prestandan med ny hårdvara – och programmet fungerar inte ens så sällan.

Detta bör nu ändras, som Nvidia meddelade vid Microsofts Build Von-utvecklarevent. Under namnet ”Tensorrt for RTX” tillhandahåller Nvidia en reviderad version av sina egna mjukvaruverktyg, med vilka det i framtiden inte längre kommer att vara nödvändigt för utvecklare att behöva optimera sitt program för varje GPU, ibland varje grafikkortsmodell.

Linjalen är automatiskt optimerad för din egen GPU

Detta kommer att göras automatiskt av Tensorrt för RTX i framtiden. I framtiden kommer Tensorrt-optimeringen att ske i realtid på din egen PC och bör ta några sekunder. Om processen är klar bör Tensorrts prestanda vara densamma som om utvecklaren hade kört programmet för sitt eget grafikkort manuellt. Till detta kommer att den nya versionen av Tensorrt förväntas bli bara åttonde så stor som den gamla – förmodligen eftersom optimeringar för alla GPU:er inte längre behöver inkluderas.

Den nya versionen av Tensorrt, liksom de äldre varianterna, kommer att fungera på alla GeForce-RTX-grafikkort.

Tensorrt för RTX kommer att finnas tillgänglig för nedladdning från Nvidias utvecklarsida under Junis och kan integreras i din egen mjukvara därifrån. Vissa utvecklare har också till funktionen, där Nvidia förväntar sig de första versionerna av programmet här under juni.

Techastuce fick informationen från NVIDIA i förväg. Dessa gjordes tillgängliga under NDA. Det enda kravet var tidigast möjliga tidpunkt för publicering. Tillverkaren hade inget inflytande på rapporten, det fanns ingen skyldighet att publicera.

Ämnen: Calcutex 2025 GeForce grafikkort nvidia

Lämna en kommentar

Din e-postadress kommer inte publiceras. Obligatoriska fält är märkta *

Rulla till toppen