A principios de este mes, Qualcomm invitó a los periodistas a una cumbre virtual de tecnología Snapdragon Tech Summit, dondeanunciaron laplataforma móvil Snapdragon 888. El último SoC de la serie 8 de Qualcomm aporta importantes mejoras en el procesamiento de imágenes y el aprendizaje automático, pero solo mejoras incrementales en el rendimiento de la CPU y la GPU. Para descubrir cuánto más potente es el último chipset de Qualcomm, normalmente tenemos la oportunidad de ejecutar pruebas comparativas en su hardware de referencia. Sin embargo, debido al COVID-19, Qualcomm no pudo organizar una sesión de evaluación comparativa en persona, por lo que, en su lugar, nos enviaron un video pregrabado que muestra un dispositivo de referencia Qualcomm Snapdragon 888 que ejecuta la gama de pruebas comparativas populares.

En el dispositivo de referencia Snapdragon 888, Qualcomm ejecutó un benchmark holístico (AnTuTu), un benchmark centrado en la CPU (Geekbench), un benchmark centrado en la GPU (GFXBench) y varios benchmarks de IA/ML (AIMark, AITuTu, MLPerf y Procyon). Cada benchmark se ejecutó tres veces, por lo que la empresa compartió el resultado promedio en tres iteraciones. Además, la empresa dice que ejecutó cada benchmark utilizando la configuración predeterminada en el diseño de referencia Snapdragon 888, lo que significa que no habilitaron ningún modo de alto rendimiento. Sin embargo, debido a que los puntajes de benchmark se nos proporcionaron, no podemos verificar los resultados ni las condiciones de prueba por nosotros mismos. Una vez que tengamos en nuestras manos un dispositivo comercial con Qualcomm Snapdragon 888, volveremos a ejecutar estos benchmarks.

Si estás interesado en leer sobre todas las especificaciones y características de la plataforma móvil Qualcomm Snapdragon 888, entonces te recomiendo leerla excelente explicación de Idrees Patel sobre el Snapdragon 888publicada a principios de este mes. Su artículo detalla todas las mejoras que Qualcomm realizó en la CPU, GPU, módem, subsistema de conectividad, ISP, motor de IA, DSP y todo lo demás. Para una referencia rápida, preparé un cuadro que compara las especificaciones clave del dispositivo de referencia Qualcomm Snapdragon 888 en comparación con los otros dos dispositivos utilizados en esta comparación de referencia: el dispositivo de referencia con Snapdragon 865 y el Pixel 4 con Snapdragon 855 queutilicé en la sesión de evaluación comparativa del año pasado. Puedes encontrar ese cuadro a continuación antes de los resultados de la evaluación comparativa.

Resultados de la prueba comparativa del Qualcomm Snapdragon 888

Especificaciones de los dispositivos de prueba

Descripción general de los puntos de referencia

Con aportes deMario Serrafero

• AnTuTu: se trata de un benchmark holístico. AnTuTu evalúa el rendimiento de la CPU, la GPU y la memoria, e incluye tanto pruebas abstractas como, últimamente, simulaciones de la experiencia del usuario (por ejemplo, la subprueba que implica desplazarse por una ListView). La puntuación final se pondera según las consideraciones del diseñador.
• GeekBench: una prueba centrada en la CPU que utiliza varias cargas de trabajo computacionales, entre ellas, cifrado, compresión (texto e imágenes), renderizado, simulaciones físicas, visión artificial, trazado de rayos, reconocimiento de voz e inferencia de redes neuronales convolucionales en imágenes. El desglose de la puntuación proporciona métricas específicas. La puntuación final se pondera de acuerdo con las consideraciones del diseñador, poniendo un gran énfasis en el rendimiento de números enteros (65 %), luego en el rendimiento de coma flotante (30 %) y, por último, en criptografía (5 %).
• GFXBench: tiene como objetivo simular la representación de gráficos de videojuegos utilizando las API más recientes. Muchos efectos en pantalla y texturas de alta calidad. Las pruebas más nuevas utilizan Vulkan, mientras que las pruebas anteriores utilizan OpenGL ES 3.1. Los resultados son fotogramas durante la prueba y fotogramas por segundo (el otro número dividido por la duración de la prueba, básicamente), en lugar de una puntuación ponderada.
  • Ruinas aztecas: estas pruebas son las que ofrecen GFXBench y que requieren un mayor esfuerzo computacional. Actualmente, los mejores chipsets para dispositivos móviles no pueden soportar 30 cuadros por segundo. En concreto, la prueba ofrece una geometría con un número de polígonos realmente alto, teselación de hardware, texturas de alta resolución, iluminación global y una gran cantidad de mapeo de sombras, abundantes efectos de partículas, así como efectos de profundidad de campo y de bloom. La mayoría de estas técnicas pondrán a prueba las capacidades de cómputo de sombreado del procesador.
  • Manhattan ES 3.0/3.1: esta prueba sigue siendo relevante dado que los juegos modernos ya han alcanzado la fidelidad gráfica propuesta e implementan el mismo tipo de técnicas. Presenta una geometría compleja que emplea múltiples objetivos de renderizado, reflejos (mapas cúbicos), renderizado de malla, muchas fuentes de iluminación diferida, así como bloom y profundidad de campo en un paso de posprocesamiento.
• MLPerf Mobile:MLPerf Mobile es un punto de referencia de código abierto para probar el rendimiento de la IA móvil. Fuecreado por MLCommons, un consorcio de ingeniería abierta sin fines de lucro, para "ofrecer transparencia y un campo de juego nivelado para comparar sistemas, software y soluciones de ML". La primera iteración de MLPerf Mobile proporciona un punto de referencia de rendimiento de inferencia para un puñado de tareas de procesamiento de lenguaje natural y visión artificial. Para obtener más información, consulte el documento "MLPerf Mobile Inference Benchmark: Why Mobile AI Benchmarking Is Hard and What to Do About It"
  • Clasificación de imágenes:esta prueba implica inferir una etiqueta para aplicar a una imagen de entrada. Los casos de uso típicos incluyen búsquedas de fotografías o extracción de texto. El modelo de referencia utilizado es MobileNetEdgeTPU con 4M de parámetros, el conjunto de datos es ImageNet 2012 (224x224) y el objetivo de calidad es el 98% de FP32 (76,19% Top-1).
  • Segmentación de imágenes: esta prueba implica dividir una imagen de entrada en objetos etiquetados. Los casos de uso típicos incluyen la conducción autónoma o la detección remota. El modelo de referencia utilizado es DeepLab v3+ con 2M de parámetros, el conjunto de datos es ADE20K (512x512) y el objetivo de calidad es el 93 % de FP32 (0,244 mAP).
  • Detección de objetos: esta prueba implica dibujar cuadros delimitadores alrededor de los objetos, así como proporcionar una etiqueta para esos objetos. Los casos de uso típicos implican la entrada de datos de la cámara, como para la detección de peligros o el análisis del tráfico mientras se conduce. El modelo de referencia es SSD-MobileNet v2 con 17 millones de parámetros, el conjunto de datos es COCO 2017 (300x300) y el objetivo de calidad es el 97 % de FP32 (54,8 % mIoU).
  • Procesamiento del lenguaje: esta prueba implica responder a preguntas de forma coloquial. Los casos de uso típicos incluyen motores de búsqueda en línea. El modelo de referencia es MobileBERT con 25 millones de parámetros, el conjunto de datos es mini Squad (Stanford Question Answering Dataset) v1.1 dev y el objetivo de calidad es el 93 % de FP32 (93,98 % F1).

Resultados de AnTuTu

Comenzando con AnTuTu, podemos ver que el dispositivo de referencia Qualcomm Snapdragon 888 obtuvo casi 17,000 puntos más que el dispositivo de referencia Snapdragon 865 y casi 350,000 puntos más que el Pixel 4 con Snapdragon 855. Cuando observamos las subpuntuaciones de CPU, GPU, memoria y UX (no se muestran aquí), podemos ver que las mayores mejoras en el rendimiento provienen de la GPU y la memoria. El Snapdragon 888 QRD obtuvo aproximadamente un 45,56% más en la subprueba de GPU de AnTuTu en comparación con el Snapdragon 865 QRD. De manera similar, el Snapdragon 888 QRD obtuvo aproximadamente un 52,08% más en la subprueba de memoria de AnTuTu en comparación con el Snapdragon 865 QRD. En comparación con el Pixel 4 con Snapdragon 855, el 888 QRD lo superó en las subpruebas de GPU y memoria en un 98,42% y un 117,58%, respectivamente.

Mientras tanto, el Snapdragon 888 QRD obtuvo una puntuación aproximadamente 30,05% y 90,28% más alta en la subprueba de CPU de AnTuTu en comparación con el Snapdragon 865 QRD y el Pixel 4 con Snapdragon 855, respectivamente. La subpuntuación de UX es difícil de comparar debido a las diferentes versiones del sistema operativo Android que ejecutaba cada dispositivo (el Pixel 4 y el Snapdragon 865 QRD ejecutaban Android 10 cuando los comparé el año pasado, mientras que el 888 QRD ejecuta Android 11).

El gran aumento en el rendimiento de la memoria es bastante interesante. Tanto el 865 QRD como el 888 QRD cuentan con 12 GB de RAM LPDDR5, aunque no sabemos a qué velocidad está sincronizada la RAM. En particular, el 865 admite hasta 16 GB de RAM LPDDR5 a 2750 MHz, mientras que el 888 admite hasta 16 GB de RAM LPDDR5 a 3200 MHz. Los aumentos en el rendimiento de la CPU y la GPU aquí están ligeramente por encima de nuestras expectativas, ya que Qualcomm dijo que las ganancias de CPU y GPU del Snapdragon 888 son del 25% y el 35% respectivamente año tras año. Sin embargo, los puntos de referencia más centrados en la CPU y la GPU que siguen muestran ganancias que están más en línea con nuestras expectativas.

Resultados de Geekbench

En Geekbench 5.0, el Qualcomm Snapdragon 888 tiene un rendimiento un 22,17% y un 9,97% superior en las pruebas de un solo núcleo y de varios núcleos respectivamente en comparación con el Snapdragon 865. En comparación con el Snapdragon 855, el 888 tiene un rendimiento un 89,17% y un 51,82% mejor respectivamente.

Qualcomm afirma que el Snapdragon 888 proporciona un aumento del 25% en el rendimiento de la CPU en comparación con el Snapdragon 865. El único núcleo ARM Cortex-X1 Prime de la CPU tiene una velocidad de reloj conservadora de 2,84 GHz, la misma velocidad de reloj que el núcleo ARM Cortex-A77 Prime de última generación, por lo que es posible que veamos una velocidad de reloj de más de 3 GHz para la inevitable actualización "Plus" del Snapdragon 888 a mediados de año. Si ese es el caso, podemos esperar que el rendimiento de la CPU mejore aún más, aunque en este momento, es justo decir que las ganancias son sólidas, pero meramente incrementales.

Por lo tanto, si estás actualizando desde un dispositivo insignia de hace dos años, el 888 debería traer mejoras importantes en el rendimiento de la CPU. Si estás actualizando desde un dispositivo insignia de hace un año, esas mejoras son mucho menores. Personalmente, estoy emocionado por ver cómo un dispositivo con Snapdragon 888 maneja la emulación de consola.

Resultados de GFXBench

Qualcomm no ha revelado el número de núcleos ni la frecuencia máxima de la GPU Adreno 660 en el Snapdragon 888, por lo que tenemos poco que decir sobre la GPU aparte de sus ganancias en rendimiento. En la prueba Manhattan de GFXBench, que utiliza la API OpenGL ES 3.0 y renderiza una escena de 1080p fuera de la pantalla, el Snapdragon 888 tuvo una velocidad de cuadros promedio de 169 fps, aproximadamente un 34,13 % y un 83,7 % más alta que las velocidades de cuadros logradas por el Snapdragon 865 y el 855 respectivamente. En la prueba Aztec Ruins de GFXBench, que utiliza la API de gráficos Vulkan y renderiza una escena de 1080p fuera de la pantalla, el Snapdragon 888 tuvo una velocidad de cuadros promedio de 86 fps, aproximadamente un 38,71 % y un 95,45 % más alta que las velocidades de cuadros logradas por el Snapdragon 865 y el 855 respectivamente.

No hay muchos juegos que exijan una gran potencia de GPU (elreciente Genshin Impact es una excepción), pero un rendimiento mejorado de la GPU es útil para más que solo jugar. Sin embargo, los juegos son definitivamente la razón principal por la que a la gente le importarán estos resultados de referencia, y el Snapdragon 888 definitivamente cumple con su renderizado de gráficos un 35% más rápido y una eficiencia energética un 20% mejor año tras año. Sin embargo, estos resultados solo demuestran el rendimiento máximo de la GPU, por lo que tendremos que volver a visitar GFXBench, una vez que tengamos en nuestras manos el hardware comercial, para ejecutar las pruebas de rendimiento a largo plazo de la referencia.

Resultados de MLPerf

Quizás las mejoras más interesantes se encuentran en el rendimiento de la IA. Qualcommgeneralmente da grandes saltos en el rendimiento de la IA cada año, pero las mejoras de este año son las más impresionantes. El motor de IA del Snapdragon 888 cuenta con un rendimiento de 26 TOPS, un aumento con respecto al rendimiento de 15 TOPS del Snapdragon 865 y el rendimiento de 7 TOPS del Snapdragon 855. Qualcomm atribuye gran parte de esta mejora a la nueva arquitectura de acelerador de IA fusionada del Hexagon 780 DSP, que fusiona los aceleradores escalares, vectoriales y tensoriales para eliminar las distancias físicas y agrupar la memoria para compartir y mover datos de manera eficiente.

Sin embargo, nos resulta difícil demostrar lo significativo que es realmente este salto en el rendimiento. Hemos hablado en profundidad sobre las dificultades de la evaluación comparativa de la IA durante nuestras entrevistas conTravis Lanier,Gary Brotman y Ziad Asgharde Qualcomm . La buena noticia es que, desde nuestras conversaciones con los ejecutivos de Qualcomm, ha habido avances significativos en el campo de las evaluaciones comparativas de la IA.

Al principio de este artículo, mencionamos que Qualcomm ejecutó 4 puntos de referencia de IA diferentes en el dispositivo de referencia Snapdragon 888: AIMark, AITuTu, MLPerf y Procyon de UL. Quizás el más prometedor de estos puntos de referencia es MLPerf Mobile, que es un punto de referencia de IA móvil de código abierto que se lanzará pronto y que cuenta con el respaldo de múltiples proveedores de SoC, proveedores de marcos de ML y productores de modelos. Su lote inicial de resultados de inferencia móviles público, por lo que usamos esos resultados para comparar con el Snapdragon 888. Los resultados solo cubren 3 dispositivos: el Xiaomi Redmi 10X 5G con MediaTek Dimensity 820, el ASUS ROG Phone 3 con Qualcomm Snapdragon 865+ y el Samsung Galaxy Note 20 Ultra 5G con Exynos 990. Qualcomm no proporcionó resultados de latencia, solo cifras de rendimiento, por lo que no graficamos los resultados completosenviados por los proveedorespara verificación por MLCommons.

En estos puntos de referencia seleccionados de inferencia de visión artificial y procesamiento del lenguaje natural, podemos ver que el dispositivo de referencia Qualcomm Snapdragon 888 logró las puntuaciones más altas en las cuatro pruebas. De los 3 conjuntos de chips de la generación anterior, el Dimensity 820 de MediaTek superó al Snapdragon 865+ y al Exynos 990 en detección de objetos, mientras que el Exynos 990 superó al Snapdragon 865+ y al Dimensity 820 en NLP. El Snapdragon 865+ de Qualcomm fue competitivo en general, obteniendo una puntuación a la par con el Dimensity 820 en segmentación de imágenes y superándolo en NLP. En estas pruebas de inferencia específicas con estos modelos y conjuntos de datos específicos, el Snapdragon 888 superó a los 3 conjuntos de chips de última generación.

Será interesante ver qué aplicaciones y funciones pueden crear los desarrolladores y fabricantes de equipos originales utilizando la destreza de IA del Snapdragon 888. La visión por computadora desempeñará un papel especialmente importante en las muchas funciones de videografía mejoradas por IA que probablemente veremos en 2021, mientras que el rendimiento mejorado del procesamiento del lenguaje natural también puede afectar los aspectos adyacentes al video, como la grabación de audio.

Sin embargo, debemos tener en cuenta que los resultados del Snapdragon 888 no están verificadospor MLCommons, ya que parte del proceso de verificación de la organización requiere que el dispositivo esté disponible comercialmente (los dispositivos de referencia de Qualcomm no se venden a través de un operador o como un teléfono desbloqueado). Además, el rendimiento depende de los modelos de ML, los formatos numéricos y los marcos de ML elegidos, así como de los aceleradores de ML disponibles.

Conclusión

El Snapdragon 888 de Qualcomm vuelve a traer mejoras incrementales en el rendimiento de la CPU y la GPU, pero mejoras masivas en el procesamiento de imágenes y la IA. No muchas personas que actualicen un dispositivo de dos años notarán las mejoras en la CPU y la GPU (a menos que planeen ejecutar emuladores o jugar juegos como Genshin Impact), pero definitivamente notarán los otros avances que se han realizado en la tecnología móvil. Los dispositivos tienen pantallas con mayor frecuencia de actualización, más cámaras con sensores de imagen de mayor resolución, soporte para conectividad 5G y mucho más en estos días. Las enormes ganancias en el rendimiento de la IA pasarán desapercibidas para el usuario promedio, pero las posibilidades que se han abierto con el nuevo chipset de Qualcomm son emocionantes de considerar. Mejoras de video de IA en tiempo real, transmisiones multicámara y mucho más están en el horizonte el próximo año, y empresas como Google continúan sorprendiendo con las funciones que lanzan respaldadas por modelos de aprendizaje automático de entrenamiento.

Sin embargo, Qualcomm no es la única empresa que está realizando mejoras en su línea de SoC. Se dice que el próximo Exynos 2100 de Samsung para el Galaxy S21 traerá importantes mejoras de rendimiento. También está el nuevo HiSilicon Kirin 9000 de Huawei y la creciente línea de SoC móviles Dimensity de MediaTek. Espero volver a revisar estos puntos de referencia una vez que tengamos al menos un dispositivo de gama alta con el silicio de próxima generación de Samsung, Huawei y MediaTek.

Demostración comparativa del Qualcomm Snapdragon 888

Mencioné al principio de este artículo que Qualcomm compartió con nosotros un video pregrabado. Si te interesa, he subido ese video a YouTube. Muestra el Snapdragon 888 ejecutando todos los puntos de referencia que compartí anteriormente, así como los puntos de referencia de IA restantes que no mostré.

Mientras tanto, aquí está la tabla que nos proporcionó Qualcomm resumiendo los resultados del benchmark Snapdragon 888: