Resumen
- Chat con RTX de Nvidia permite a los usuarios conversar con documentos y videos de YouTube utilizando tecnología de inteligencia artificial, impulsada por generación de recuperación aumentada (RAG).
- Los requisitos mínimos para usar Chat con RTX incluyen una GPU de la serie RTX 30 o RTX 40, un mínimo de 8 GB de vRAM, Windows 10 o Windows 11, los últimos controladores de Nvidia y hasta 100 GB de almacenamiento.
- Los usuarios pueden crear conjuntos de datos, hacer preguntas sobre documentos y obtener transcripciones precisas de videos de YouTube usando Chat con RTX, lo que proporciona una alternativa más rápida y con mayor conciencia de la privacidad que ver videos completos.
En los últimos meses, la IA ha estado de moda, por lo que ha sido difícil encontrarle usos que realmente tengan sentido. Si bien es una tecnología poderosa, la mayoría de las personas no tienen una razón paranecesitarusarla, aunque hay algunos aspectos clave que funcionan bien en ciertas industrias. La función Chat with RTX de Nvidia busca darle un propósito a la IA y, en este caso, se puede usar para conversar con documentos y videos de YouTube en línea.
Nvidia utiliza una tecnología llamada generación aumentada por recuperación (RAG) para impulsar gran parte de Chat con RTX. Mejora la precisión de la predicción al usar un conjunto de datos externo durante la inferencia y combinar las respuestas con información relevante de los documentos que se encuentran en su conjunto de datos. Esto también evita el requisito de que los LLM tengan "límites de conocimiento" como los que pueden haber experimentado las personas con ChatGPT.
Tras probar brevemente estafunción en el CES de este año, obtuvimos acceso a Chat with RTX durante el fin de semana pasado y hemos estado jugando con ella. Sin embargo, existen algunos requisitos importantes para usarla, por lo que no es apta para los débiles de corazón.
Chat con RTX: qué necesitarás
Estos son los requisitos mínimos para Chat con RTX
Para utilizar el chat con RTX, deberás cumplir los siguientes requisitos:
- Una GPU de la serie RTX 30 o RTX 40
- Mínimo 8 GB de vRAM
- Windows 10 o Windows 11
- Los últimos controladores de Nvidia
- Hasta 100 GB de almacenamiento
Las ventajas de utilizar Chat con RTX incluyen la posibilidad de procesar datos localmente, eliminando la necesidad de enviar información potencialmente personal a un servidor en la nube. Sin embargo, esto requiere tener un hardware lo suficientemente potente como para soportarlo.
Las mejores GPU en 2025: nuestras mejores tarjetas gráficas
Elegir la tarjeta gráfica adecuada puede resultar difícil dada la gran cantidad de opciones que hay en el mercado. Estas son las mejores tarjetas gráficas que debes tener en cuenta.
Configurar el chat con RTX
Toma un tiempo, pero es bastante sencillo.
A diferencia de otras herramientas que están dirigidas a los entusiastas que están dispuestos a sumergirse en los comandos de terminal para jugar con la IA, Nvidia reconoce que la gente puede querer simplemente un programa quefuncione. Chat with RTX se distribuye como un único archivo zip de 37 GB, y ese archivo zip, una vez extraído, revelará un archivo setup.exe. Al ejecutarlo, recorrerá todos los pasos para instalar Chat with RTX y, al final, lo iniciará en un navegador web. Realmente no podría ser más fácil.
Una vez que se inicia, se lo dirigirá a una página web que presenta una ventana de mensajes, cuatro mensajes precargados y una opción para seleccionar un modelo de IA. Si bien puede omitir el ajuste de la configuración y quedarse con las opciones predeterminadas, al hacerlo se limita principalmente a consultar la información proporcionada por Nvidia... en su mayor parte. En realidad, tiene la libertad de consultar sobre cualquier tema, gracias al uso predeterminado del modelo de IA 7B de Mistral, que no lo restringe al conjunto de datos proporcionado. A pesar de eso, aprovechar todas las capacidades de Chat with RTX es esencialmente su propósito principal.
También puedes cambiar el modelo de IA para que sea el modelo Llama 2 de Meta si lo deseas, aunque requiere más recursos ya que es un modelo 13B. Mistral 7B también supera al modelo Llama 2 de Meta 13B en prácticamente todos los aspectos imaginables, por lo que no hay motivo para no usar Mistral para obtener respuestas de mejor calidad y un menor uso de recursos. ¡Pero ya puedes jugar con él!
Cómo usar el chat con RTX
Creando un conjunto de datos
La mejor manera de usar Chat with RTX es crear un conjunto de datos, señalarlo y luego hacer preguntas. Puedes hacerlo creando una carpeta en cualquier lugar de tu PC y llenándola con documentos de texto o PDF. Estos documentos PDF se pueden obtener desde cualquier lugar y Chat with RTX viene con algunos archivos de texto sobre los que también puedes hacer preguntas. Una vez que lo señales a una carpeta, tendrás que esperar un par de minutos mientras genera puntos de datos a partir de los archivos de la carpeta.
Esta función funciona bastante bien y es similar a ChatPDF, un servicio en el que puedes cargar un PDF y hacer preguntas sobre el documento. Sin embargo, se ejecuta de forma totalmente local en tu PC y no requiere ninguna conexión externa. No solo es mejor desde el punto de vista de la privacidad, sino que también es más rápido y gratuito si tienes una tarjeta Nvidia 30 o 40 RTX. Genera texto de forma extremadamente rápida y te da la respuesta que aparece en la captura de pantalla anterior en segundos.
Usando un video de YouTube
En lo que Chat with RTX se destaca por encima de todo lo demás que he visto es en su capacidad para manejar videos de YouTube. Tiene soporte integrado para descargar transcripciones de videos de YouTube y luego puede responder preguntas sobre el tema del video. Si bien requiere que el video tenga transcripciones precisas, es una excelente manera de obtener la idea general de un video sin necesidad de verlo completo.
Lo usé en uno de los videos de YouTube de XDA y descubrí que también era bastante rápido. Definitivamente es mucho más rápido que sentarse y mirar todo el video, y puedes hacer más preguntas sobre el video en lugar de solo sobre la conclusión. Sin embargo, para cualquier cosa importante, debes verificar que la respuesta sea correcta. El archivo XML con el texto de la transcripción irá a la carpeta youtube_dataset bajo 'trt-llm-rag-windows-main', por lo que puedes verificar ese archivo en lugar de revisar todo el video para verificarlo si lo deseas.
Descargar Chat con RTX
Ya está disponible
Nvidia ha puesto a disposición de todos los usuarios la posibilidad de descargar Chat with RTX, y tendrás acceso al mismo conjunto de datos que nos dieron aquí. Los desarrolladores pueden incorporar RAG en sus propias aplicaciones si lo desean, pero si solo quieres jugar con él, puedes ir al sitio de Nvidia para descargarlo y probarlo. Es probable que mejore con el tiempo y, dado que sebasa en un proyecto de código abierto, los desarrolladores y la comunidad pueden modificarlo para agregar compatibilidad con más modelos de IA y otras funciones también.
Si te interesa la IA y los LLM, no dudes en probar Chat with RTX. Si quieres probar más, no dejes de probarLM Studio, una de lasmejores aplicaciones de IAque existen.
Charla con RTX
Chat with RTX te permite crear conjuntos de datos o consultar videos de YouTube desde una aplicación ejecutada localmente en cualquier tarjeta Nvidia RTX serie 30 o 40. También debes cumplir con algunos otros requisitos, pero es una aplicación poderosa que cualquiera puede usar de forma gratuita.