Uno dei problemi principali di quanti si affacciano al mondo AI è quello delle prestazioni, e conseguentemente dei costi. L’AI sui normali desktop/laptop non si può fare, a meno di avere molto, moltissimo tempo a disposizione.
Ricordate quando nel maggio 2024 abbiamo parlato di InstructLab, la piattaforma di Red Hat che abilitava i non addetti ai lavori a generare, istruire ed utilizzare LLM (Large Language Models)? Essendo quello un progetto open-source, può essere studiato da tutti, ma in quanto al suo utilizzo effettivo ci vuole potenza computazionale. Nella fattispecie hardware. Ancora più nello specifico ci vogliono GPU, motivo per cui NVIDIA è diventata nel giro di un paio d’anni la terza azienda più importante del mondo.
La soluzione immediata potrebbe essere quella di usare le piattaforme cloud, ciascuna delle quali ha le sue peculiarità ed i suoi costi, vedi Amazon EC2 Spot Instances, oppure le Preemptible VMs di Google o Azure Spot VMs, ma si tratta di soluzioni “esterne”.
E se uno volesse gestire i propri progetti localmente? O si compone un PC con una GPU degna di tale nome autonomamente, oppure legge il recente annuncio di NIVIDA che presenta NVIDIA Project DIGITS, un PC desktop dalle caratteristiche particolarmente estreme.
Questo mostro è basato su NVIDIA GB10 Grace Blackwell Superchip, una SoC (system-on-a-chip) capace di qualcosa come 1 petaflop di performance AI e 128 GB di memoria unificata e coerente (è quindi un sistema in cui CPU e GPU utilizzano un pool comune di memoria) e fino a 4 TB di storage NVMe.
Il tutto si traduce nella possibilità di eseguire LLM fino a 200 miliardi di parametri su un singolo SoC, che si raddoppiano se si usano 2 dispositivi connessi con la rete NVIDIA ConnectX, in questo caso ci saranno fino a 405 miliardi di parametri di modelli.
Mostruoso, il tutto in un mattoncino che occupa lo spazio di una scheda audio USB:
Particolare difficilmente trascurabile: il sistema operativo caricato di default è NVIDIA DGX OS che è sostanzialmente una distribuzione GNU/Linux. Il che ne fa un candidato per l’installazione della distribuzione preferita, magari proprio RHEL AI.
Il dispositivo sarà disponibile a partire da maggio direttamente da NVIDIA al costo indicativo di 3.000 dollari, i quali sono certamente molti, ma sono tutto sommato l’equivalente di un PC attrezzato a dovere per il gaming, attività che peraltro, lette le caratteristiche dell’hardware, non è escluso di poter fare anche con NVIDIA Project DIGITS.
Benefattori all’ascolto: se qualcuno volesse donare alla causa un NVIDIA Project DIGITS il portale promette la pubblicazione di un articolo alla settimana che ne analizza il funzionamento e ne racconta l’evoluzione 
Raoul Scarazzini
Da sempre appassionato del mondo open-source e di Linux nel 2009 ho fondato il portale Mia Mamma Usa Linux! per condividere articoli, notizie ed in generale tutto quello che riguarda il mondo del pinguino, con particolare attenzione alle tematiche di interoperabilità, HA e cloud.
E, sì, mia mamma usa Linux dal 2009.
Source: Read More