Motore IA locale: configurazione di Ollama e modelli consigliati

Che cosa fa

L'app sonda il motore locale e riporta ciò che ha misurato: se ha risposto, la sua versione, la latenza di andata e ritorno e i modelli che dichiara — ciascuno con il peso su disco, il numero di parametri e la quantizzazione quando il motore li pubblica. Un motore spento torna come irraggiungibile con il messaggio grezzo, che è un risultato e non una diagnosi: non dice se la colpa è della chiave, della rete o del servizio.

Le richieste passano dal backend Rust dell'applicazione invece che dalla web view, per due motivi: la politica di sicurezza dei contenuti non apre una porta HTTP locale dal front end, e la rete non è compito suo.

Poiché l'elenco arriva dal motore, un modello che non hai non compare mai come selezionabile. Resta una domanda a cui il motore non può rispondere — che cosa installare quando non hai nulla — ed è per questo che esiste l'elenco dei suggerimenti.

Modelli consigliati

Come configurarlo

• Installa tu un motore — Ollama o LM Studio — e lascialo in esecuzione. Senzoukria non installa mai il motore; parla soltanto con uno già presente.
• Scarica un modello. Il selettore mostra il comando esatto da incollare, nella forma ollama pull qwen2.5-coder:7b, e il pulsante Installa chiede al motore che hai già di scaricarlo. L'avanzamento è riportato con i nomi delle tappe del motore stesso, perché Ollama conta i byte per layer e una percentuale tornerebbe a zero a ogni nuovo layer.
• Un suggerimento sparisce dall'elenco appena il modello è installato: compare allora nell'elenco reale dei modelli installati.
• Imposta la finestra di contesto in Impostazioni → IA. Il valore predefinito di 8k basta per il prompt dell'assistente, il contesto di mercato e una conversazione breve; il valore predefinito di Ollama, 4.096, non basta.

Limiti e trappole

• Un modello locale è un ripiego gratuito, non un pari: è nettamente meno capace di Claude e si lascerà sfuggire cose che Claude coglie. In cambio, nulla di ciò che scrivi lascia la macchina.
• I motori locali ricevono testo semplice, quindi gli screenshot non li raggiungono mai, qualunque cosa il modello dichiari di supportare.
• I modelli di embedding come nomic-embed-text sono elencati da Ollama accanto a quelli conversazionali ma non sanno rispondere affatto; il selettore li segnala.
• Le dimensioni indicate sono quelle del download nella quantizzazione predefinita, e serve una quantità di RAM libera dello stesso ordine: un modello da 5 GB non gira comodamente sotto gli 8 GB di memoria libera.
• I suggerimenti privilegiano i 7B e oltre per il codice degli indicatori, dove i modelli più piccoli tendono a produrre codice plausibile che non gira; l'unica voce da 3B è lì per le macchine che non possono tenere di più.