Ma a cosa serve un'intelligenza artificiale che gira sul tuo computer?
Si può scaricare un'AI e usarla senza internet, gratis e senza che nessuno legga le tue domande. Cosa serve per farlo, cosa ci perdi e i pochi casi in cui ne vale la pena.
- Livello
- intermedio
- Tempo
- 12 minuti
- Cosa serve
- Un computer con 16 GB di memoria, o 8 GB per i modelli più piccoli
Di solito, quando scrivi a un assistente con l’intelligenza artificiale, la tua domanda parte, attraversa mezzo mondo, viene elaborata nel centro di calcolo di un’azienda e torna indietro come risposta. Funziona benissimo, e ha tre conseguenze: serve la connessione, ci sono limiti o abbonamenti, e quello che scrivi esce da casa tua.
Da qualche tempo c’è un’alternativa che prima era roba da specialisti: scaricare il modello e tenerlo sul proprio computer. Gratis, senza messaggi contati, senza rete e senza che nessuno legga niente. I limiti però ci sono lo stesso, e sono quelli del tuo computer: vediamoli. La domanda giusta, come sempre, è: a chi serve davvero?
Modello (in inglese model): il file, molto grande, che contiene quello che l'AI ha imparato. Scaricarlo è come scaricare un programma. Modello locale (in inglese local model): un modello che gira sul tuo computer invece che su internet. Parametri (7B, 14B e simili): la misura di quanto è grande un modello; più è grande, più memoria richiede. Sulla bravura conta anche parecchio quanto è recente: un modello piccolo uscito adesso batte spesso uno grande di due anni fa. Quantizzato (in inglese quantized): una versione compressa, che occupa meno e perde un po' di precisione. RAM: la memoria di lavoro del computer, quella che conta qui.
Cosa serve, in pratica
Meno di quanto immagini, ma non niente.
La cosa che conta è la memoria, non la potenza del processore. Un modello di dimensioni normali per uso domestico, quelli attorno ai 7 o 8 miliardi di parametri in versione compressa, occupa circa 4 o 5 GB su disco e altrettanti in memoria mentre lavora. I programmi che li fanno girare indicano 16 GB di memoria come configurazione consigliata, con i modelli più piccoli che funzionano anche su 8 GB.
Una scheda grafica dedicata non è obbligatoria, ma cambia molto la velocità. Senza, il modello funziona lo stesso e scrive più lentamente, alla velocità di una persona che digita. I computer Apple recenti sono un caso favorevole, perché la memoria è condivisa tra processore e grafica.
Lo spazio su disco: conta una decina o una ventina di GB se vuoi tenere due o tre modelli diversi.
Come si fa, senza entrare nel tecnico
Ci sono due strade, e nessuna delle due richiede di scrivere codice.
Un programma con la finestra, come LM Studio: lo installi, dentro c’è un catalogo di modelli, scegli, scarichi, e ti trovi davanti una finestra di conversazione identica a quelle a cui sei abituato. È la strada per chiunque.
Un programma da riga di comando, come Ollama: più asciutto, preferito da chi è del mestiere e da chi vuole collegarlo ad altri programmi.
In entrambi i casi il lavoro vero è scegliere il modello, e il consiglio è di partire da uno piccolo, provarlo, e salire solo se il computer regge.
Scaricare un modello non "installa un'intelligenza artificiale nel computer" nel senso inquietante del termine. È un file che viene letto da un programma quando lo apri, e che non fa niente mentre non lo usi. Se cancelli il file, è finita lì, come con qualsiasi altro programma.
Cosa ci perdi, e conviene saperlo prima
Il divario di qualità con i servizi online grandi è reale e ampio, e chi racconta il contrario ti fa perdere tempo.
Un modello piccolo che gira in casa se la cava bene su compiti circoscritti: riassumere un testo che gli dai tu, riformulare una frase, correggere, estrarre dati da un elenco, rispondere a domande su un documento che gli hai fornito, scrivere una prima bozza da sistemare.
Va nettamente peggio su: ragionamenti complessi, matematica, programmazione non banale, fatti del mondo e attualità (la sua conoscenza è ferma al momento dell’addestramento e non ha internet), e in generale le lingue diverse dall’inglese. Quest’ultimo punto riguarda noi direttamente: in italiano un modello piccolo si sente che è piccolo, molto più che in inglese.
Le tre ragioni per cui ne vale la pena
Documenti che non devono uscire. È la ragione più solida. Se lavori con cartelle cliniche, atti legali, dati contabili di clienti, materiale coperto da riservatezza, un modello locale ti permette di usare l’AI senza consegnare quei documenti a nessuno. Non è una questione di paranoia, è una questione di obblighi che magari hai già.
Lavorare senza rete. In treno, in aereo, in un posto con connessione scarsa, in un capannone o in una cantina. Il modello locale funziona uguale.
Nessun limite e nessun canone. Niente messaggi contati, niente abbonamento, e soprattutto niente modello che cambia sotto i piedi: il file che hai scaricato resta quello, e tra un anno avrai ancora esattamente lo stesso, cosa che con i servizi online non è garantita. Le singole risposte restano comunque diverse ogni volta, come dappertutto.
A queste tre ne aggiungerei una quarta, meno pratica e più onesta: capire come funziona. Vedere un modello che scrive sul tuo computer, con la connessione staccata, toglie un bel po’ di magia alla faccenda, e la magia tolta è sempre un guadagno.
Chi può lasciar perdere
Se vuoi la qualità migliore possibile, il locale non è la strada. Se hai un portatile con 8 GB di memoria e nessuna scheda grafica, l’esperienza sarà frustrante. Se useresti l’AI due volte al mese, il piano gratuito di un servizio online ti basta e avanza. E se l’idea di scaricare file da qualche GB, scegliere versioni e aggiornare programmi ti annoia, è un passatempo che non ti darà soddisfazione.
Un'AI sul proprio computer ha senso per chi ha un motivo preciso: dati riservati da trattare, lavoro senza connessione, o voglia di capire come funziona. Per tutto il resto un servizio online è più bravo e più comodo, e va detto senza fare gli snob. Provarla comunque costa solo un pomeriggio e non rompe niente: se hai 16 GB di memoria, è un pomeriggio speso bene.
Se decidi di provare
Parti da un modello piccolo, dai tre ai quattro GB, e fagli fare le cose per cui è bravo: incollagli un testo e chiedi un riassunto, o una riscrittura. Valuta la qualità su quello, non chiedendogli chi ha vinto l’ultimo campionato, perché quello non può saperlo.
Prima però vale la pena sapere cosa fa già il telefono che hai in tasca senza connessione, perché in molti casi copre il bisogno reale: ne parlo in a cosa serve l’intelligenza artificiale che funziona senza internet. E per capire perché anche i modelli grandi a volte inventano, la spiegazione è in cos’è un modello linguistico.