ChatRTX, precedentemente noto come Chat with RTX, supporta ora un numero maggiore di modelli IA. Il chatbot di NVIDIA, annunciato a metà febbraio, permette di ottenere risposte utilizzando come input i propri dati personali. La privacy è garantita perché le informazioni non vengono inviate al cloud.
ChatRTX supporta altri modelli open source
ChatRTX consente di avere un chatbot personalizzato sul computer. La “demo app”, come viene definita da NVIDIA, sfrutta il processo RAG (Retrieval-Augmented Generation) per l’ottimizzazione dell’output del LLM (Large Language Model), la tecnologia TensorRT-LLM sviluppata dall’azienda californiana e la potenza delle GPU delle serie RTX 40 e 30. L’utente deve quindi avere un PC con una di queste GPU (almeno 8 GB di memoria), minimo 16 GB di RAM e Windows 11.
L’esecuzione locale garantisce prestazioni, sicurezza e privacy. ChatRTX supporta fin dall’inizio i modelli Mistral 7B di Mistral AI e Llama 2 di Meta. NVIDIA ha ora aggiunto Gemma di Google e ChatGLM3. L’utente può usare testo e documenti come prompt (input), ai quali si aggiungono ora le immagini, grazie al riconoscimento effettuato dal modello CLIP (Contrastive Language-Image Pre-training) sviluppato da OpenAI.
Infine, sfruttando il riconoscimento vocale di Whisper (OpenAI) è possibile inviare input vocali al chatbot. ChatRTX è gratuito e può essere scaricato dal sito NVIDIA. Oltre ai requisti suindicati serve anche abbastanza spazio su disco (l’archivio ZIP occupa 11,6 GB).
Ti potrebbe interessare
3 mag 2024