Ciao ollama per chi non lo sapesse è un tool che permette di eseguire modelli di AI generativa sul proprio computer. l'ho usato fin dall'inizio e ho anche installato ollama-webui per rendere disponibile la mia istanza fuori. Ma purtroppo non ho una macchina performante e riesco a fare andare solo i molìdelli con 7migliardi di parametri che a quanto pare possono andare bene per creare articoli o fare traduzioni ragionevoli ma sono assolutamente insufficienti per la programmazione. Ho quindi lasciato a stagnare tutto il tool aggiornando di tanto in tanto. Fino a ieri dove ho letto che ollama poteva usare modelli cloud ospitati cioeè in un servere remoto con steroidi. Risultato: faccio girare velocissimo un modelllo deepseek a 673bilion cioè un mostro paragonabile a chatGPT e pure reasoner che funziona decisamente bene. Non so se lo hanno capito anche loro ma stanno cancellando il mondo delle api. Il primo lavoro che ho fatto è stato adattare t la funzione di fish che fa da assistente alla programmazione con questo modello subito seguito da ideaAI che in effetti con phind arrancava. Ora non so se questa startup intende mantenre aperto e gratuito il modello in cloud ma anche se chiedesse 20 dollari al mese sul modello openAI ci farei un pensierino anche perche posso sviluppare agenti che usano le comode api ollama per fare qualunque cosa.
Stavolta da Ycombinator è uscito qualcosa di interessante e forse è la botta finale alla bolla AI...
Nessun commento:
Posta un commento