Resumen
- Acceder a la NPU del Orange Pi 5 Pro es complicado, pero posible con el software y las habilidades adecuadas.
- Instalar un sistema operativo Ubuntu personalizado y usar SSH son pasos clave para desbloquear el potencial de la NPU.
- Ejecutar un LLM en la NPU puede mejorar enormemente el tiempo de respuesta, a pesar de algunas posibles peculiaridades.
Hace más de un mes que tengo en mis manos el nuevo Orange Pi 5 Pro y es un dispositivo bastante sólido. Es un poco más caro que un Raspberry Pi 5, pero también viene con algunas características más. Una de esas características increíbles es una NPU que puede funcionar a hasta 6 TOPS. Todo eso está muy bien, pero su uso es complicado y se necesitan algunas habilidades de programación profesional para desbloquearlo por completo. Aunque Orange Pi no tiene la comunidad masiva que tiene Raspberry Pi, hay un grupo dedicado de desarrolladores que trabajan arduamente para abrir la NPU en Orange Pi.
Cómo ejecutar un LLM en la NPU de Orange Pi 5 Pro
Divulgación completa: obtener acceso a la NPU en Orange Pi es un poco complicado. Necesitas instalar una versión personalizada de la última versión de Ubuntu y necesitas instalar un software especial que te permitirá ejecutar LLM específicamente convertidos en tu NPU en lugar de en tu CPU. Todo el proceso es definitivamente más complicado que ejecutar Ollama, pero puedes obtener algunas ganancias importantes si estás a la altura del desafío. Entonces, si todavía estás aquí, ¡vamos a profundizar en ello!
Instalación del sistema operativo
Lo primero que debes hacer es instalar el sistema operativo adecuado. Te recomiendo unUbunto personalizado creado específicamente para los SoC de Rockchip por el usuario de GitHub Joshua Riek. Necesitarásla versión 24.04porque tiene la última versión del controlador NPU que se necesita para ejecutar los LLM. Instalar el sistema operativo en una tarjeta SD para tu Orange Pi es básicamentelo mismo que para una Raspberry Pi, pero aquí tienes una descripción general rápida:
- Descargue la imagen del sistema operativo a su computadora preferida.
- Abre un programa que te ayude a flashear tu tarjeta SD. Usaremos balenaEtcher para esta guía.
- SeleccioneFlash del archivoy seleccione el archivo de imagen del sistema operativo que descargó anteriormente.
- Asegúrese de que su tarjeta SD esté insertada y haga clic enSeleccionar destino.
- Seleccione su tarjeta SD de la lista y haga clic enSeleccionar.
- SeleccioneFlash!
Este proceso puede tardar hasta 10 minutos en completarse, así que tenga paciencia mientras el programa hace lo suyo.
Una vez que hayas flasheado correctamente el sistema operativo, transfiere la tarjeta SD a tu Orange Pi y enciéndela. Asegúrate de tener un teclado y un monitor a mano, porque necesitaremos acceso directo a nuestra SBC al menos el tiempo suficiente para instalar SSH.
Cómo habilitar SSH en Ubuntu
Puedes usar la terminal para instalar SSH en Ubuntu en solo unos sencillos pasos.
Instalación de SSH
Después de completar la configuración inicial del sistema operativo en su OPi, abrala TerminalpresionandoCtrl + Alt + T.Escribasudo apt install openssh-serveren su terminal. Esto le permitirá acceder a su Orange Pi desde otra computadora. La razón por la que nos tomamos todas estas molestias es porque el programa que ejecuta LLM no funcionará si se está ejecutando el escritorio, pero sí lo hará desde la terminal SSH.
Antes de abandonar tu Orange Pi,toma nota de su dirección IPy luegoinicia sesión a través de SSH. Si SSH no es lo tuyo, puedes seguir esta guía en tu dispositivo, pero tendrás que presionarCtrl + Alt + F5para salir de tu escritorio y trabajar exclusivamente en tu shell.
Instalación de RKNN LLM y RKNN Toolkit 2
Ahora podemos comenzar a instalar el software que ejecutará nuestros LLM. RKNN LLM es el programa que ejecutará el LLM en nuestra máquina. RKNN Toolkit 2 es el software que permite que otro software se comunique con la NPU. Vamos a instalar ambos de una sola vez con unscript proporcionado por el usuario de GitHub Pelochus. Escribe esto en tu terminal:
sudo curl https://raw.githubusercontent.com/Pelochus/ezrknpu/main/install.sh | sudo bash
Esto tardará entre 5 y 10 minutos en ejecutarse, así que tenga paciencia.
Instalación de un LLM
Una vez que hayas terminado de instalar RKNN LLM y RKNN Toolkit 2, puedes instalar un modelo (lo que te llevará otros 5 a 10 minutos). Para que un LLM aproveche la NPU del SoC Rockchip RK3588S en tu Orange Pi, debe convertirse con RKNN Toolkit 2 (que queda fuera del alcance de esta guía).
Puedes ejecutar LLM localmente en tu Raspberry Pi usando Ollama: aquí te explicamos cómo hacerlo
¿Quién dice que sólo las PC con IA pueden ejecutar LLM?
Afortunadamente,Pelochus mantiene un repositorio de Hugging Facede LLM convertidos para usarse con el RK3588S. Desafortunadamente, no todos esos modelos son compatibles con el software que acabamos de descargar. Debes buscar un modelo que haya sido convertido con elentorno de ejecución RKLLM 1.0.1. Vamos a instalarel modelo Phi-3 Mini de Microsoft con 3.8B de parámetros. Introduce este comando en tu terminal:
GIT_LFS_SKIP_SMUDGE=1 clon de git https://huggingface.co/Pelochus/phi-3-mini-rk3588
La primera parte del comando en mayúsculas garantizará que solo clonemos primero los archivos más pequeños. Si intentamos clonar todo el repositorio a la vez, es posible que obtengamos algunos errores. A continuación, navegue hasta el nuevo directorio que acabamos de crear (cd ~/phi-3-mini-rk3588) y ejecute el comandogit lfs pull. Esto descargará el archivo de modelo grande de varios gigabytes.
Cómo ejecutar un LLM en su NPU Orange Pi 5 Pro
Si todo salió según lo previsto, debería estar listo para iniciar su LLM. En la terminal, escribarkllm phi-3-mini-4k-rk3588.rkllm.
¿Y cómo funciona? Es mucho más rápido queel Phi-3 que ejecutamos a través de Ollama en una Raspberry Pi 5 overclockeada, pero también parece sufrir un trastorno de personalidad múltiple, ya que habla consigo mismo. También parece tener un límite estricto para su salida y se corta a mitad de frase si alcanza su límite (lo que podría ser algo bueno dado lo verboso que puede ser el Phi-3).
Los LLM controlados por NPU en Orange Pi todavía están en la fase experimental y, por eso, estos problemas son más bien peculiaridades que problemas, especialmente si se considera la rapidez de las respuestas. Phi-3 en Raspberry Pi tuvo un tiempo de respuesta promedio de 27 segundos con una mediana de 5 segundos (rango de 3 a 295 segundos). Phi-3 funcionando en la NPU de Orange Pi 5 Pro tuvo un tiempo de respuesta promedio de alrededor de 1 segundo con un rango de entre 1 y 2 segundos.
La IA quiere ayudarte: 5 formas creativas de utilizar los LLM
No pierda estas grandes oportunidades en las que la IA podría ahorrarle tiempo, dinero y molestias.
Si tienes una Orange Pi 5 con el SoC RK3588 o RK3588S, te gusta experimentar con LLMyno te da miedo ensuciarte las manos con Linux, este proyecto definitivamente vale la pena, aunque solo sea por las enormes mejoras en el tiempo de respuesta de LLM. La comunidad que respalda los LLM en Orange Pi es pequeña pero muy activa, por lo que espero ver aparecer más modelos todo el tiempo.