Apple ha estado a la vanguardia en lo que respecta a la IA gracias a sus chips Apple Silicon, con muchos generadores de imágenes, modelos de lenguaje de gran tamaño y más, todo ello ejecutándose de forma nativa incluso en una Mac M1 durante mucho tiempo. Eso es gracias a una combinación de la NPU y los potentes gráficos en su interior, pero la ventaja de Apple parece estar menguando. Con su chip M4 lanzado con afirmaciones de 38 TOPS, hay mucho que analizar sobre a qué se refieren esos números y cómo se comparael Snapdragon X Elite de Qualcomm .

Creo que el liderazgo de Apple en materia de inteligencia artificial está empezando a disminuir y las empresas están empezando a ponerse al día. Con las ofertas de Intel y AMD a la vuelta de la esquina y el Snapdragon X Elite de Qualcomm a pocas semanas de distancia, Apple podría tener que empezar a cuidarse las espaldas.

Relacionado

El lanzamiento del M4 de Apple en un iPad es una gran señal para el Snapdragon X Elite de Qualcomm

Probablemente esto sea lo más cercano al pánico que Apple haya parecido jamás en público.

Publicaciones

"38 TOPS" por sí solo no cumple nada

La IA tiene múltiples criterios de medición

Fuente: Apple

Al analizar el rendimiento de la IA, TOPS (billones de operaciones por segundo) es una métrica fundamental, y es importante comprender cómo los diferentes tipos de datos como INT4, INT8 y FP16 contribuyen a esto.

Para contextualizar, INT4 e INT8 son formatos enteros, siendo INT4 un entero de 4 bits e INT8 un entero de 8 bits. Estos se utilizan normalmente en cálculos de redes neuronales donde se puede sacrificar la precisión por la velocidad y la eficiencia energética. El ancho de bits más pequeño en INT4 permite más operaciones por ciclo, pero a costa de una precisión menor, lo que lo hace ideal para aplicaciones donde el alto rendimiento es más crucial que la alta precisión. Por otro lado, INT8 logra un equilibrio, ofreciendo más precisión que INT4 y manteniendo una mayor velocidad computacional en comparación con formatos más precisos.

FP16, o punto flotante de precisión media, es otra bestia en su conjunto. Este formato de punto flotante de 16 bits proporciona un rango mucho más amplio de valores que INT4 o INT8, ya que incluye dígitos significativos y un exponente. Esto permite que FP16 maneje cálculos y algoritmos mucho más complejos, que requieren un alto grado de precisión numérica. Esto es crucial para tareas que involucran gráficos detallados o cálculos científicos donde la precisión no puede verse comprometida. Comparar los valores TOPS entre estos formatos no es solo una cuestión de velocidad bruta; se trata de la idoneidad para aplicaciones específicas. Por ejemplo, mientras que INT4 e INT8 pueden proporcionar TOPS más altos, la capacidad de FP16 para entregar cálculos más detallados y matizados lo hace indispensable para aplicaciones más críticas en cuanto a precisión.

Ahora que ya hemos aclarado todo esto, podemos hacer una serie de suposiciones sobre lo que Apple está diciendo aquí. Suponemos que el número TOPS que Apple anuncia se calcula utilizando la precisión INT8. El chip A17 Pro de Apple, que se dice que es capaz de alcanzar 35 TOPS, se midió utilizando FP16, pero se dice que el M3, que utiliza muchas de las mismas piezas (incluidos los núcleos) que el A17 Pro, "solo" admite 18 TOPS. Esto se explicaría por un cambio en la precisión y estaría más en línea con lo que utiliza la industria en general en la actualidad. Por ejemplo, el Ryzen 7 8700G de AMD con su motor neuronal también admite 18 TOPS, y también utiliza INT8.

En ese mismo sentido, incluso un salto de 18 TOPS a 38 TOPS es bastante sustancial, pero la única forma en que supera a Qualcomm es si esto se midió utilizando FP16. No puedo imaginar que Apple cambie su convención de medición de nuevo a FP16 para ir en contra de la tendencia de la industria de medir utilizando INT8 para tener un númeropeor, y dado que las cifras de Qualcomm se calculan con precisión INT8, es fácil unir los puntos y ver que Apple casi con certeza se está quedando atrás.

La IA implica mucho más que TOPS

La mayoría de las aplicaciones de IA ni siquiera utilizan el Neural Engine de Apple

Sin embargo, es importante tener algo claro en lo que respecta a Apple y la IA: la mayoría de las aplicaciones de IA disponibles actualmente que se ejecutan en Mac ni siquiera utilizan el motor neuronal de Apple. LM Studio se ejecuta en la CPU y la GPU, al igual que prácticamente todas las implementaciones abiertas de Stable Diffusion. En ese sentido, las cifras TOPS del motor neuronal de Apple ni siquiera son comparables, dado que no son representativas de las cargas de trabajo de IA reales que estos dispositivos son capaces de realizar.

Sin embargo, tanto Intel como AMD apoyan activamente el desarrollo y el uso de sus unidades de procesamiento neuronal. Intel admite de forma nativa más de 500 modelos que ya se ejecutan en sus NPU y está ayudando activamente a los desarrolladores a brindar soporte a los suyos, y AMD está en la misma situación. Apple, por su parte, solo admite CoreML, que es una API que puede utilizar el motor neuronal en Apple Silicon, pero no es totalmente compatible con la mayor parte de la tecnología que hace posibles los LLM y otros modelos, como la cuantificación.

Además, gracias a la memoria unificada, las GPU de Apple pueden acceder al mismo espacio de memoria a la misma velocidad que el motor neuronal, lo que significa que los mismos cuellos de botella relacionados con el almacenamiento y la memoria siguen existiendo sin importar cómo se ejecuten los modelos de IA. Debido a todo esto, comparar la NPU de Apple con otras NPU en realidad no significa mucho, incluso si la empresa sigue insistiendo en compartir cifras TOPS que son comparables con otras en la industria.

Apple se ha quedado atrás en materia de IA

No sólo en hardware, sino también en software

Fuente: Omid Armin vía Unsplash

Apple ha estado por detrás de la curva de IA en lo que respecta al software durante mucho tiempo, en particular con Siri, posiblemente uno de los peores asistentes de voz que existen. Estábieny hace el trabajo, pero no hay inteligencia artificial detrás. Del mismo modo, se podría decir que Google ha estado superando a Apple en lo que respecta a la IA en el dispositivo, como Now Playing de Google, Magic Editor y mucho más.

Por supuesto, Apple sigue teniendo IA en sus ordenadores portátiles y smartphones, pero no se acerca ni de lejos a lo que hacen sus rivales en la actualidad. La empresa ha estado trabajando en LLM en segundo plano mientras la I+D sigue en esa dirección, aunque no está claro si acabará llegando a los iPhones o a los MacBooks. Según se informa, Google ha estado en conversaciones con Apple para llevar Gemini a los productos de la empresa, por lo que parece que las cosas están en el aire. Además, Apple puede acabar construyendo su propia infraestructura de servidores para dar soporte a las funciones de IA basadas en la nube, al igual que han hecho Samsung y Google.

Apple tiene mucho que aprender si quiere ponerse al día en el espacio de la IA, pero la empresa tiende a ser silenciosa en su enfoque hacia las nuevas tecnologías. Nonecesitala IA para tener éxito (claramente), pero parece cada vez más extraña a medida que pasa el tiempo sin que se diga nada al respecto. Apple incluso inició la carrera de las NPU en sus MacBooks, pero existe la posibilidad de que para fines de este año una Mac ya no sea el mejor lugar para ejecutar aplicaciones de IA en movimiento.

Relacionado

Las mejores aplicaciones de IA: herramientas que puedes ejecutar en Windows, macOS o Linux

Si quieres jugar con algunas herramientas de IA en tu computadora, puedes usar algunas de estas herramientas de IA para hacer precisamente eso.

Publicaciones