AMD ha annunciato il supporto completo per il modello Llama 3.1 AI su tutta la sua gamma di prodotti, che comprende EPYC, Instinct, Ryzen e Radeon.
I modelli Llama 3.1 ricevono supporto Day-0 su tutto l’hardware AMD: le CPU EPYC e Ryzen, gli acceleratori Instinct e le GPU Radeon vedranno un miglioramento delle capacità AI, con l’Instinct MI300X che alimenta Meta.
Comunicato stampa
La nostra strategia AI in AMD è incentrata sull’abilitazione dell’ecosistema AI con una vasta gamma di motori di calcolo ottimizzati per training e inferenza, software open-source affidabili e una stretta collaborazione con i nostri partner e clienti. Alte prestazioni, innovazioni e compatibilità estesa sono i pilastri di questa strategia mentre l’universo AI si evolve. Il nostro obiettivo principale è abilitare la prossima generazione di modelli AI per tutti, rendendo i vantaggi dell’AI accessibili e diffusi.
Con Llama 3.1, LLM estende la lunghezza del contesto a 128K, aggiunge supporto per 8 lingue e introduce il modello Llama 3.1 405B, che Meta afferma essere il più grande modello di fondazione disponibile apertamente. Questo modello permetterà alla comunità di sbloccare nuove capacità, come la generazione di dati sintetici e la distillazione del modello.
Siamo entusiasti del rilascio dei modelli Llama 3.1 di Meta e li abbiamo installati e testati nei nostri laboratori AMD, ottenendo risultati positivi. Vogliamo mostrare parte del lavoro straordinario svolto dai nostri team con Llama 3 e spiegare cosa significa Llama 3.1 per i clienti AI di AMD.
Acceleratori GPU AMD Instinct MI300X e Llama 3.1
Ogni nuova generazione di modelli porta funzionalità e prestazioni migliorate alla sua comunità di utenti, e Llama 3.1 non fa eccezione. Questo modello rivoluziona le conversazioni complesse con una comprensione contestuale, un ragionamento e una generazione di testo senza pari, funzionando senza problemi sull’acceleratore GPU AMD Instinct MI300X fin dal primo giorno.
Le GPU AMD Instinct MI300X continuano a fornire capacità di memoria e larghezza di banda superiori, permettendo agli utenti di eseguire una singola istanza di Llama 3 70B su un singolo server MI300X e fino a 8 istanze parallele contemporaneamente.
Con il nuovo modello 405B, la necessità di capacità di memoria diventa ancora più cruciale. Abbiamo verificato che un server con otto acceleratori AMD Instinct MI300X può gestire l’intero modello Llama 3.1 405B utilizzando dati FP16. Questo significa che le organizzazioni possono ottenere significativi risparmi sui costi, una gestione semplificata dell’infrastruttura e una maggiore efficienza delle prestazioni, grazie alle capacità di memoria leader del settore della piattaforma AMD Instinct MI300X.
Meta ha utilizzato le ultime versioni del ROCm Open Ecosystem e delle GPU AMD Instinct MI300X in alcune fasi dello sviluppo di Llama 3.1, proseguendo la nostra collaborazione con Meta, che ci auguriamo di rafforzare ulteriormente.
CPU AMD EPYC e Llama 3.1
Oltre alle GPU per data center, AMD offre una piattaforma server leader per il calcolo nei data center, con elevate prestazioni, efficienza energetica e compatibilità x86 per una varietà di carichi di lavoro. L’intelligenza artificiale sta diventando una componente sempre più vitale per molte applicazioni nei data center, migliorando creatività, produttività ed efficienza.
L’utilizzo delle CPU AMD EPYC consente ai clienti di ottenere prestazioni di livello aziendale, efficienza energetica e la capacità di eseguire AI e LLM per inferenze, sviluppo di modelli, test e training in batch. Llama come benchmark si è dimostrato uno strumento coerente e utile per aiutare i clienti a valutare prestazioni, latenza e scalabilità, facilitando la scelta della tecnologia più adatta alle esigenze dei data center aziendali.
Llama 3.1 aumenta il valore dei benchmark con maggiore scalabilità, flessibilità nella generazione e sintesi dei dati, estensione del contesto e supporto linguistico per rispondere meglio alle esigenze aziendali globali.
Per ambienti basati solo su CPU, come il modello Llama 3 8B, i processori AMD EPYC di quarta generazione offrono prestazioni ed efficienza senza bisogno di accelerazione GPU, rendendoli ideali per implementazioni AI di classe enterprise.
PC AMD AI e Llama 3.1
Non sei un programmatore? Nessun problema! Sfrutta la potenza di Llama 3.1 di Meta con i processori AMD Ryzen AI.
Le CPU AMD Ryzen AI e le GPU Radeon 7000 possono eseguire chatbot localizzati utilizzando LLM, proprio come la chat di NVIDIA con RTX.
AMD è impegnata nella democratizzazione dell’AI e nella riduzione delle barriere d’ingresso per l’AI. Abbiamo stretto una partnership con LM Studio per offrire il modello Llama 3.1 di Meta ai clienti dotati di PC AMD AI. Provalo su LM Studio per sperimentare un chatbot all’avanguardia, completamente locale, basato su Llama 3.1. Ora puoi usarlo per scrivere e-mail, correggere documenti, generare codice e molto altro ancora!
GPU AMD Radeon e Llama 3.1
Per chi desidera gestire l’intelligenza artificiale generativa a livello locale, le GPU AMD Radeon possono sfruttare la potenza dell’AI per offrire nuove esperienze e prestazioni AI personalizzate in tempo reale.
Grazie alla potenza combinata delle GPU desktop Radeon e del software ROCm, anche le piccole aziende possono eseguire i propri strumenti AI personalizzati localmente, senza la necessità di archiviare dati sensibili online.
I sistemi desktop AMD AI con GPU Radeon PRO W7900, software AMD ROCm 6.1 e processori Ryzen Threadripper PRO offrono una soluzione client per ottimizzare ed eseguire inferenze su LLM con elevata precisione.
Conclusione
AMD e Meta collaborano per far progredire l’AI open source. La compatibilità di Llama 3.1 con GPU AMD Instinct MI300X, CPU AMD EPYC, AMD Ryzen AI, GPU AMD Radeon e AMD ROCm offre agli utenti una vasta scelta di hardware e software, garantendo prestazioni ed efficienza superiori. AMD resta impegnata a fornire tecnologia all’avanguardia che promuove l’innovazione e la crescita in tutti i settori.