Proseguo l'installazione dei PC. Ho dovuto fare un CD per fare il boot su alcuni portatili che non fanno il boot da chiavetta. Fino ad ora, solo due portatili non funzionano con Alpine. Per questi ho installato Debian.
Veniamo alla parte principale di questa sera. Phind (https://phind.com) è un eccellente LLM. Ha un modello da 70B di default e a pagamento offre anche altri modelli come ChatGPT e Antropic Claude. Tempo fa ho scoperto su GitHub Tgpt, che permette di usare vari motori online da terminale. Questa cosa è interessante, ma questo tool è scritto in Go. Intendiamoci, il Go è un ottimo linguaggio, ma deve essere compilato per la piattaforma. Io quindi ho scelto di riscrivere in Python e invece di supportare tanti LLM, ho preferito usare solo Phind. Per accedervi uso il componente Httpx, che mi assicura di mandare le richieste e di ricevere le risposte. Uso ovviamente solo il modello leggero. Non voglio abusare del servizio. Sui netbook sono costretto ad usare questo metodo perché nessun LLM di rilievo può funzionare con così poche risorse. Invece così si riesce ad usare e risponde spesso in modo soddisfacente.
Si potrebbe fare una versione online? Si certo, ma non ha senso tanto vale usare il servizio. Se avessimo X mi sarei limitato a mettere nei preferiti il link. Ma qui siamo all'osso e con Lynx (il browser testuale che ho messo) non entro in Phind. Non metterò questo tool su GitHub perché non voglio togliere spazio a Tgpt, che è un eccellente prodotto, ma che qui avrebbe comportato il doverlo ricompilare, posto che si possa fare in un ambiente a 32bit. Se pero cercate nel mio campo di carote e pippate i moduli Python necessari funziona ovunque. Penso anche nel terminale di Windows. La mia speranza era di farlo con Bash, ma manca un componente come Httpx e Curl non riesce a superare i check javascript. Andrebbe fatto ma per ora è oltre le mie forze.
Questo progetto rappresenta una soluzione praticabile per l'utilizzo di Phind su dispositivi con risorse limitate, offrendo un'alternativa flessibile per l'integrazione di LLM in ambienti con requisiti hardware ridotti.
Nessun commento:
Posta un commento