Huawei a prezentat oficial Flex:ai, o platformă open-source destinată optimizării utilizării acceleratoarelor AI în centre de date de mari dimensiuni. Lansată pe 21 noiembrie, soluţia se bazează pe Kubernetes şi va fi disponibilă prin comunitatea ModelEngine, concentrându-se pe creşterea performanţei prin software într-un context marcat de restricţiile impuse Chinei privind accesul la GPU-uri avansate din SUA.
Compania susţine că Flex:ai poate contribui chiar la configurarea unui „cip AI analog” cu performanţe declarate de 1.000 de ori mai mari decât cele ale plăcilor Nvidia, indicând o schimbare strategică către eficienţă software în condiţii de aprovizionare limitată cu hardware de top. Un alt obiectiv al platformei este creşterea gradului de utilizare a resurselor cu aproximativ 30%, prin fragmentarea GPU-urilor sau NPU-urilor în instanţe virtuale independente şi redistribuirea automată a sarcinilor pentru a evita blocajele şi perioadele de inactivitate. Astfel, Flex:ai poate gestiona simultan modele de dimensiuni mici, care altfel ar ocupa întreaga placă, şi proiecte mari care necesită acces la mai multe acceleratoare în paralel.
Arhitectura Flex:ai extinde funcţionalităţi existente în ecosistemul Kubernetes, într-o manieră care, potrivit Huawei, nu se regăseşte încă în majoritatea implementărilor open-source. Platforma integrează abordări precum pluginurile pentru acceleratoare şi programatoarele multi-tenant existente, adăugând suport nativ pentru procesoarele Ascend NPU, utilizate pe scară largă în infrastructura chineză. Un element cheie este Hi Scheduler, modulul de orchestrare care realocă în timp real resursele neutilizate din clustere, detectând automat nodurile active şi direcţionând resurse suplimentare acolo unde este nevoie pentru o utilizare mai eficientă a acceleratoarelor.
Flex:ai aminteşte de funcţionalităţile oferite de Run:ai, platformă de orchestrare achiziţionată de Nvidia în 2024, însă diferenţa majoră constă în orientarea Huawei către o soluţie open-source compatibilă cu o varietate de acceleratoare, ceea ce poate creşte relevanţa în infrastructurile bazate pe procesoarele Ascend. În prezent, codul sursă nu a fost publicat, iar compania nu a oferit documentaţie tehnică sau benchmarkuri oficiale. Întrebările cheie vizează granularitatea fragmentării GPU/NPU, compatibilitatea cu programatoarele Kubernetes şi disponibilitatea pluginurilor pentru cele mai utilizate GPU-uri.
Huawei a menţionat că un consorţiu de cercetători de la universităţile Shanghai Jiao Tong, Xi’an Jiaotong şi Xiamen a contribuit la dezvoltarea platformei. Flex:ai reprezintă una dintre cele mai ambiţioase iniţiative ale companiei de a compensa lipsa accesului la hardware high-end prin inovaţii software, direcţie care ar putea transforma modul în care sunt exploatate resursele de calcul AI în ecosistemul tehnologic chinez.
