Un nuovo modello AI che scrive codice (e non è lentissimo)
Su HuggingFace è spuntato un nuovo modello AI specializzato nel codice: compute1/qwopus3.5-9b-coder-awq-int4. Il nome è illeggibile quanto la maggior parte dei nomi di modelli AI, ma quello che conta è che promette di fare una cosa semplice: aiutarti a scrivere codice senza mangiarsi tutta la RAM del tuo computer.
Allora, il modello ha 9 miliardi di parametri, il che significa che è abbastanza grande da essere utile, ma abbastanza piccolo da non richiedere una GPU da diecimila euro. È un equilibrio delicato che nel mondo dell'AI è raro come trovare un chatbot che ammette di non sapere qualcosa.
La parte interessante è quella sigla finale: AWQ-INT4. Senza voler sembrare un dev che spiega il suo commit su Slack, tradotto significa che il modello è stato compresso in modo intelligente. Prendi il modello originale, fai un po' di magia matematica (non preoccuparti, la fa il computer), e finisci con un file più leggero che gira come il vento anche su hardware modesto.
Come funziona nella pratica? Dai al modello un commento tipo "# funzione che ordina un array" e lui ti genera il codice. Non è perfetto (nessun modello lo è), ma sa riconoscere Python, JavaScript, Go e altri linguaggi. È come avere uno Stack Overflow che non ti insulta quando chiedi cose ovvie.
Il vantaggio reale è che non hai bisogno di un abbonamento mensile o di una connessione internet stabile per usarlo. Scarichi il file, lo carichi nel tuo IDE o nel tuo strumento preferito, e basta. È il genere di cosa che i developer indipendenti e le startup con budget ridotto stanno aspettando.
Certo, Qwopus 3.5 non è GPT-4, ma per chi vuole uno strumento di codifica IA locale e veloce senza compromessi enormi sulla qualità, potrebbe essere esattamente quello che cercava. Il fatto che sia open source significa anche che puoi modificarlo se hai voglia (e se sai come fare).
Cosa significa per te
Per una persona normale significa avere un aiutante AI per il codice che non richiede abbonamenti, non ha limiti di utilizzo, e gira sul tuo computer. Non è magia, ma se sei uno sviluppatore freelance o un maker curioso, toglie un peso dal budget e dalla dipendenza dalla connessione.