ServiceLaptop.eu > Blog > Hardware > GPU-urile NVIDIA Tensor Core sunt excelente pentru inferenta

GPU-urile NVIDIA Tensor Core sunt excelente pentru inferenta

Tensor Core, o inovatie revolutionara, a transformat GPU-urile NVIDIA intr-un procesor AI extrem de eficient si versatil.

Pentru a realiza performantele unui GPU unic NVIDIA V100, Intel a combinat doua CPU-uri cu consum redus de energie, cu un pret estimat intre 50.000 si 100.000 de dolari.

Comparatia performantelor Intel a subliniat si avantajul clar al unitatilor GPU NVIDIA T4, care sunt construite pentru inferente.

In comparatie cu un singur CPU de varf, acestea nu sunt doar mai rapide, ci si de 7 ori mai eficiente din punct de vedere energetic si cu un ordin de marime mai eficient din punct de vedere al costurilor.

Performanta este cruciala, deoarece serviciile bazate pe AI cresc exponential.

Cele mai recente procesoare Intel de la Cascade Lake includ instructiuni noi, care imbunatatesc inferentele, facandu-le cele mai bune CPU-uri pentru deducere.

Cu toate acestea, este greu de competitiv cu GPU- urile Tensor Core NVIDIA

Modelele AI ofera capabilitati inteligente in aplicatii, cum ar fi:

  • detectarea fraudei in tranzactiile financiare,
  • conversatiile in limbaj natural pentru a cauta pe internet
  • analiza predictiva pentru a repara defectiunile de fabricatie inainte ca acestea sa se intample.

Initial introdus cu arhitectura NVIDIA Volta, GPU-urile Tensor Core sunt acum in a doua generatie cu NVIDIA Turing.

Acestea sunt concepute pentru a accelera atat formarea AI, cat si inferentele.Sunt usor de activat folosind functii de precizie mixte automate in cadrele TensorFlow si PyTorch.

Dezvoltatorii pot realiza viteze de formare de 3x prin adaugarea a doar doua randuri de cod la proiectele lor TensorFlow.

Valoarea convingatoare a GPU-urilor Tensor Core pentru sistemele recomandate

O alta utilizare cheie a AI este in sistemele de recomandare, care sunt utilizate pentru a furniza recomandari relevante privind continutul pe site-urile de partajare video, fluxurile de stiri pe site-urile sociale si recomandarile produselor pe site-urile de comert electronic.

De asemenea, NVIDIA publica in mod regulat modele AI pre-instruite pentru scenarii de inferente si modele pentru modelele de instruire care utilizeaza propriile date.

Toate aceste programe sunt disponibile liber sub forma de containere, gata de descarcare si de rulare de la NGC , hub-ul NVIDIA pentru software-ul accelerat pe GPU.

Obțineti stirea completa despre platforma AI .