📰 News della settimana

0.1 Deepseek scuote l'élite dell'AI con il suo modello linguistico cinese da 5,6 milioni di dollari

Una startup cinese sta dimostrando che non servono tasche profonde per costruire un'AI di livello mondiale. L'ultimo modello linguistico di Deepseek compete testa a testa con i giganti della tecnologia come Google e OpenAI, e l'hanno costruito a una frazione del costo abituale.

Prestazioni al top con un budget ridotto

Secondo Artificial Analysis, una società di test indipendente, il nuovo modello V3 di Deepseek può competere con i sistemi AI più avanzati al mondo, con un costo totale di addestramento di soli 5,6 milioni di dollari. Un risultato notevole per un modello di questo calibro.

Nel Quality Index di Artificial Analysis, che combina i risultati di vari benchmark, Deepseek-V3 ha ottenuto 80 punti, piazzandosi nella fascia alta insieme a pesi massimi del settore come Gemini 1.5 Pro e Claude Sonnet 3.5. Deepseek-V3 ha superato ogni altro modello open-source disponibile oggi, anche se i modelli più recenti di Google e OpenAI sono ancora in testa.

Il modello brilla particolarmente nei task tecnici:

• 92% nel test di programmazione HumanEval

• 85% nella sfida matematica MATH 500

Queste capacità si basano sul precedente lavoro di Deepseek con il loro modello di ragionamento R1 di fine novembre, che ha contribuito a migliorare le capacità di problem-solving di V3. Persino il capo ricercatore AI di Meta, Yann LeCun, ne ha preso atto, definendo il modello "eccellente".

Efficienza delle risorse e trasparenza

Deepseek ha ottenuto questi risultati con soli 2.048 GPU in esecuzione per 57 giorni, utilizzando 2,78 milioni di ore GPU su chip Nvidia H800 per addestrare il loro modello da 671 miliardi di parametri. Per fare un confronto, Meta ha avuto bisogno di 11 volte tanto potenza di calcolo - circa 30,8 milioni di ore GPU - per addestrare il suo modello Llama 3, che ha meno parametri (405 miliardi).

La comunità AI sta prendendo nota, in particolare perché Deepseek combina forti risultati nei test con costi di addestramento insolitamente bassi ed è stata completamente trasparente riguardo al loro approccio tecnico.

Le operazioni snelle e la strategia di prezzi aggressiva di Deepseek stanno costringendo i player affermati a prenderne atto. Non solo offrono il loro miglior modello a prezzi accessibili, ma lo rendono anche completamente open-source, condividendo persino i pesi del modello.

Secondo Artificial Analysis, Deepseek V3 costa un po' più di GPT-4o-mini di OpenAI o Gemini 1.5 Flash di Google, ma è comunque più economico di altri modelli con capacità simili. Offrono uno sconto del 90% per le richieste memorizzate nella cache, rendendolo l'opzione più conveniente nella sua classe.

0.2 Meta immagina social network dove i personaggi AI coesistono con gli account umani

Meta sta gettando le basi per un futuro in cui i profili generati dall'AI interagiranno insieme agli utenti regolari su Facebook e Instagram, con alcuni di questi strumenti già in fase di lancio.

AI come parte integrante dei social network

Secondo Connor Hayes, vicepresidente di Meta per l'AI generativa, l'azienda prevede che i personaggi AI diventeranno una parte regolare dei suoi social network nei prossimi anni. Questi profili AI funzioneranno proprio come gli account umani, completi di biografie, foto del profilo e la capacità di pubblicare contenuti.

Meta ha già iniziato a testare queste acque. Da luglio 2024, gli utenti statunitensi hanno accesso a uno strumento di creazione di personaggi AI che ha portato alla nascita di centinaia di migliaia di nuovi profili AI. Finora, però, la maggior parte degli utenti ha mantenuto questi personaggi AI privati, dice Hayes.

Opportunità e rischi dell'integrazione dell'AI

L'azienda vede questa integrazione dell'AI come un'opportunità per rendere le sue app più coinvolgenti. Hayes afferma che rendere le interazioni AI più social sarà un focus chiave per Meta nei prossimi due anni. Per ora, la maggior parte dei creatori di contenuti sta usando gli strumenti AI di Meta per migliorare semplicemente i contenuti esistenti, come ritoccare le foto.

Mentre Meta ha lanciato versioni AI di celebrità nell'autunno del 2023, queste non hanno ancora guadagnato molta trazione.

Becky Owen, ex responsabile del team di innovazione dei creatori di Meta, solleva alcune bandiere rosse su questo futuro pieno di AI. Parlando con il Financial Times, avverte che i malintenzionati potrebbero usare gli account AI per diffondere informazioni false. Sottolinea anche che i personaggi AI mancano di esperienza nel mondo reale, emozioni genuine e autenticità rispetto ai creatori umani. Questo potrebbe portare a piattaforme inondate di post di bassa qualità.

Meta richiede che i contenuti generati dall'AI siano chiaramente etichettati, ma far rispettare questa regola non è semplice. Mentre i contenuti audiovisivi possono essere contrassegnati con etichette CC quando le piattaforme lo supportano, rilevare il testo generato dall'AI rimane una sfida e dipende in gran parte dalla scelta degli utenti di etichettarlo da soli.

0.3 Satya Nadella, CEO di Microsoft, vede OpenAI come "la Google, Microsoft o Meta di quest'epoca"

Satya Nadella, CEO di Microsoft, ritiene che OpenAI potrebbe diventare una delle aziende che definiscono la nostra epoca. In un'ampia conversazione con gli investitori Bill Gurley e Brad Gerstner, Nadella ha spiegato che "OpenAI è in un certo senso la Google, Microsoft o Meta di quest'epoca", suggerendo che l'azienda potrebbe plasmare il panorama dell'AI nello stesso modo in cui quei giganti della tecnologia hanno definito le generazioni precedenti di informatica.

La collaborazione anticipata dà a Microsoft un vantaggio

Nadella ritiene che la collaborazione anticipata con OpenAI abbia dato a Microsoft un vantaggio significativo nella corsa all'AI. "Abbiamo avuto due anni di pista praticamente incontrastati", ha spiegato Nadella. "Non credo che ci sarà mai più un vantaggio di due anni come questo."

Secondo Nadella, l'alleanza ha già aiutato Microsoft a conquistare grandi clienti cloud come Shopify, Stripe e Spotify, aziende che in precedenza utilizzavano i servizi di AWS o Google. Lo stesso OpenAI è diventato un cliente cloud rilevante per Microsoft, ha detto Nadella.

Accogliendo con favore la partnership di OpenAI con Apple

Nadella ha anche commentato la nuova partnership di OpenAI con Apple, che ora sembra accogliere con favore, probabilmente perché potrebbe aumentare ancora di più le entrate cloud di Microsoft.
"Quando Tim [Cook] ha finalmente fatto un accordo con Sam [Altman], ero la persona più entusiasta", ha detto. "È meglio che sia ChatGPT a ottenere quell'accordo piuttosto che chiunque altro, perché abbiamo quel rapporto commerciale e di investimento con OpenAI."

Tuttavia, alcune fonti suggeriscono che Nadella inizialmente avesse delle riserve sull'accordo con Apple, visti i piani di Microsoft di espandere i propri servizi Copilot agli utenti finali.

Per quanto riguarda la futura struttura di OpenAI, Nadella rimane cauto nel discutere la prevista riorganizzazione a scopo di profitto. Mentre Microsoft vuole proteggere i propri interessi, ha detto che la priorità è mantenere la partnership commerciale e di proprietà intellettuale sostenendo i piani di OpenAI. L'azienda di AI si sta muovendo verso il diventare una "società di pubblico beneficio".

0.4 Il co-fondatore di Anthropic prevede che i progressi dell'AI nel 2025 saranno "ancora più drammatici"

Il recente successo di OpenAI con il suo modello o3 suggerisce che lo sviluppo dell'AI non sta rallentando, anzi, potrebbe addirittura accelerare, secondo il co-fondatore di Anthropic, Jack Clark.

o3 dimostra che c'è ancora spazio per la crescita

Nella sua newsletter "Import AI", Clark respinge le affermazioni secondo cui lo sviluppo dell'AI sta raggiungendo i suoi limiti. Clark indica il nuovo modello o3 di OpenAI come prova che c'è ancora molto spazio per la crescita, ma attraverso un approccio diverso. Invece di creare semplicemente modelli più grandi, o3 utilizza l'apprendimento per rinforzo e una potenza di calcolo extra durante l'esecuzione.

Clark afferma che questa capacità di "pensare ad alta voce" durante l'esecuzione apre possibilità completamente nuove per il ridimensionamento. Si aspetta che questa tendenza prenda piede nel 2025, quando le aziende inizieranno a combinare approcci tradizionali come modelli di base più grandi con nuovi modi di utilizzare il calcolo sia durante l'addestramento che durante l'inferenza.

Le sfide dei costi di calcolo

Clark crede che la maggior parte delle persone non sia pronta per la velocità con cui le cose stanno per muoversi. "Penso che fondamentalmente nessuno stia valutando quanto drastici saranno i progressi da qui in avanti", avverte.

Tuttavia, indica i costi di calcolo come una sfida importante. La versione più avanzata di o3 richiede una potenza di calcolo 170 volte superiore rispetto alla sua versione base, che utilizza già più risorse di o1, e o1 stesso richiede più potenza di GPT-4o.

Questi nuovi sistemi rendono i costi molto più difficili da prevedere, spiega Clark. In passato, le spese erano semplici: dipendevano principalmente dalle dimensioni del modello e dalla lunghezza dell'output. Ma con o3, le esigenze di risorse possono variare notevolmente in base all'attività specifica.

I piani futuri di Anthropic

Le previsioni di Clark sollevano interessanti interrogativi sui piani di Anthropic. L'azienda non ha ancora rilasciato un modello di "ragionamento" o "test-time" per competere con la serie o di OpenAI o con il Gemini Flash Thinking di Google.

Il loro precedentemente annunciato modello di punta Opus 3.5 rimane in sospeso, apparentemente perché i miglioramenti delle prestazioni non giustificavano i costi operativi.

Mentre alcuni suggeriscono che questo e ritardi simili indicano sfide di ridimensionamento più ampie nei grandi modelli linguistici, Opus 3.5 non è stato un completo passo falso. Il modello ha apparentemente aiutato ad addestrare il nuovo Sonnet 3.5, che è diventato il modello linguistico più popolare del mercato.

🔧 AI Tools

1.1 Un nuovo sistema AI riconosce i falli nel calcio, ne valuta la gravità e fornisce commenti sulle azioni chiave

Un nuovo sistema di intelligenza artificiale è ora in grado di guardare le partite di calcio, identificare le azioni chiave e persino fornire commenti simili a quelli di un commentatore umano.

Il più grande dataset di filmati di calcio mai assemblato

La tecnologia proviene da ricercatori della Shanghai Jiao Tong University e di Alibaba, che l'hanno costruita utilizzando la più grande raccolta di filmati di calcio mai assemblata. Il loro dataset, chiamato "SoccerReplay-1988", include quasi 2.000 partite complete dei migliori campionati europei e della Champions League, dal 2014 al 2024. Si tratta di più di 3.300 ore di filmati di gioco, con una media di 76 clip di commento per partita.

I ricercatori hanno utilizzato questo enorme dataset per creare MatchVision, che definiscono il primo sistema completo per l'analisi delle partite di calcio. La sua particolarità è la capacità di gestire più compiti contemporaneamente, dal monitoraggio degli eventi di gioco alla generazione di commenti dal suono naturale che tengono conto di ciò che sta accadendo in campo.

Il sistema è in grado di riconoscere 24 diversi tipi di eventi di gioco, tra cui:

• Gol

• Falli

• Mosse tattiche come i cambi di possesso

Quando si tratta di analizzare i falli, MatchVision esamina i filmati da più angolazioni per determinare sia il tipo di fallo che la sua gravità.

Precisione elevata e confronto con i commentatori umani

Nei test, MatchVision ha raggiunto un'accuratezza fino all'84% nell'identificazione degli eventi di gioco. Il team afferma che ha superato i sistemi esistenti non solo nell'identificazione delle azioni, ma anche nella generazione di commenti e nella segnalazione dei falli.

Un'interessante scoperta mostra come l'AI e i commentatori umani si concentrino su aspetti diversi del gioco. Mentre l'AI tende a concentrarsi sui dettagli tecnici e sulle mosse tattiche, i commentatori umani sono più propensi a catturare il flusso emotivo del gioco e a fornire un contesto più ampio.

I ricercatori ritengono che il loro lavoro rappresenti un passo avanti significativo nell'analisi sportiva automatizzata. Guardando al futuro, suggeriscono che il sistema potrebbe aiutare a creare highlight automatici delle partite o assistere gli arbitri, basandosi sulle tecnologie AI già utilizzate per cose come i fuorigioco.

 🎨 Approfondimenti

2.1 Lo studio dimostra: il "Test-time compute scaling" è una via per sistemi AI migliori

I ricercatori di Hugging Face hanno dimostrato significativi miglioramenti delle prestazioni nei modelli linguistici open-source scalando intelligentemente il calcolo durante l'inferenza, traendo ispirazione dal modello o1 di OpenAI. Il loro approccio combina varie strategie di ricerca con modelli di ricompensa.

Un'alternativa promettente all'aumento delle risorse di calcolo durante il pre-addestramento

Mentre l'aumento delle risorse di calcolo durante il pre-addestramento è stato cruciale per lo sviluppo di grandi modelli linguistici (LLM) negli ultimi anni, le risorse richieste stanno diventando sempre più costose. I ricercatori di Hugging Face sostengono che scalare la potenza di calcolo durante l'inferenza offre una soluzione promettente, utilizzando strategie di inferenza dinamica che consentono ai modelli di trascorrere più tempo nell'elaborazione di attività complesse.

Gli scienziati hanno esaminato tre approcci principali basati sulla ricerca:

• Il metodo "Best-of-N" genera più proposte di soluzione e seleziona la migliore.

• La "Beam Search" esplora sistematicamente lo spazio delle soluzioni utilizzando un Process Reward Model (PRM).

• Il nuovo "Diverse Verifier Tree Search" (DVTS) ottimizza inoltre la diversità delle soluzioni trovate.

I risultati pratici sono impressionanti: un modello Llama con solo un miliardo di parametri ha eguagliato le prestazioni di un modello otto volte più grande. Nei compiti matematici, ha raggiunto un'accuratezza di quasi il 55%, che secondo Hugging Face si avvicina alle prestazioni medie degli studenti di dottorato in informatica.

Il ruolo centrale dei verificatori

I verificatori o modelli di ricompensa svolgono un ruolo centrale in tutti questi approcci. Valutano la qualità delle soluzioni generate e guidano la ricerca verso candidati promettenti. Tuttavia, secondo il team, i benchmark come ProcessBench mostrano che i verificatori attuali hanno ancora dei punti deboli, in particolare per quanto riguarda la robustezza e la generalizzabilità.

Migliorare i verificatori è quindi un importante punto di partenza per la ricerca futura, ma l'obiettivo finale è un modello che possa verificare autonomamente i propri output, cosa che il team suggerisce che o1 di OpenAI sembri fare.

Buona Fine e Buon Inizio Anno! Ci vediamo nel 2025!

💡 Link Utili

Sei arrivato alla fine!

La tua razione è completa!

Il tuo feedback è importante! Rispondi a questa email e raccontaci come potremmo migliorare questa newsletter.

Sei interessato a raggiungere i nostri lettori? Per diventare uno sponsor di Imparerai, scrivici qua!