Transcription
Questo è il momento giusto per acquistare una scheda video e ti spiego il perché.
Dall'uscita dei modelli Ken 3.5, che hanno una densità di intelligenza inverosimile, mi sono reso conto che con una scheda video consumer con almeno 16 GB di V RAM si riesce a far girare un large language model agentico, che quindi è in grado di chiamare dei tool, scrivere codice e potenzialmente di poter gestire, diciamo, un un Open Clow, cioè un software che gli permette di fare un po' tutto.
Ma non solo, perché Google ha fatto Turbo Qu, quindi i modelli occuperanno sei volte in meno spazio su VRAM, perché possiamo adesso quantizzare quella che è la memoria KV Cash. E non solo, ma saranno anche molto più veloci, addirittura 8x di speedup. Significa che con una scheda video da consumer, tipo questa qui, la 5060 Ti, che all'inizio costava 350, adesso è salita a 600, comunque riesce a far girare modelli da 12 miliardi di parametri, eh, pure 20 miliardi di parametri, veramente in modo molto molto veloce, con tanti token al secondo che ti permettono di fare automazioni in locale, farci girare il tuo Open Clow, eh, Nanobot, Picclow, Zero Clow e quindi integrarlo con le varie skills, plugins e tools e server MCP, diciamo, in locale su quello che vuoi te.
Adesso è il momento per iniziare a pensarci. Prima era troppo presto. E se vuoi sapere che modelli puoi far girare con il tuo hardware ad oggi, vai su questa pagina web. Basta cercare "Can I run diesel LM" e cliccare sul primo link. Selezioni il modello, selezioni la quantizzazione, selezioni la scheda video, tipo la 3060, va bene, ti avanza un po' di VRAM. Con la 566, questa qui, ti dà 16 GB, ancora meglio. Puoi vedere anche quanti utenti concorrenti puoi mettere con 16. Vedi che aumenta un po' e anche in base a quanto è lungo, vedi il contesto in input, ti va a occupare sempre più VRAM.
Ma adesso questa questo fatto qua lo ha risolto Google ed usciranno sempre modelli più piccoli e più intelligenti.
E tu che scheda video hai? Che hardware hai a disposizione? E fammelo sapere con un commento qua sotto e seguimi per rimanere aggiornato sul mondo delle AI. Ciao.