En los últimos años, cada vez más empresas se han centrado en la IA (inteligencia artificial) como medio para diferenciar sus productos de la competencia. Los usos de la IA van desde la comprensión de comandos de voz hasta el reconocimiento de escenarios y la ejecución de órdenes directas, lo que hace que sea necesaria para reducir la fricción entre un cliente y un servicio. Debido a su creciente popularidad, la IA se utiliza ahora de forma errónea como palabra de moda, y ya es hora de que se establezca algún sistema para medir esta funcionalidad.
AnTuTu, conocida por su popular aplicación de evaluación comparativa, se ha propuesto proporcionar un estándar cuantificable para que todos puedan juzgar las diferencias en el rendimiento de la IA en diferentes plataformas. Para sentar las bases de este propósito, AnTuTu ha trabajado con fabricantes de chips para lanzar una aplicación de evaluación comparativa llamada "AI Review" que se centra en medir el rendimiento de la IA en los teléfonos inteligentes.
Descargue el análisis comparativo de inteligencia artificial de AnTuTu
La publicación del blog de AnTuTu para AI Review comienza señalando las dificultades de medir algo tan vasto como la Inteligencia Artificial. Actualmente, en el segmento de los teléfonos inteligentes, no existe ningún estándar unificado para la IA, lo que a su vez ha llevado a una situación en la que cada fabricante de chips tiene su propia comprensión e implementación de la IA. Qualcomm maneja algunas operaciones de IA a través del DSP Hexagon; HiSilicon de Huawei lo hace a través de una NPU independiente; Samsung y MediaTek también manejan las operaciones de IA a través de chips dedicados denominados NPU y APU respectivamente. Esta situación se complica aún más por la sinergia entre el hardware y el software, que es crucial para un rendimiento eficaz de la IA. Cada proveedor proporciona su propio SDK para IA: Qualcomm tiene SNPE, MediaTek tiene NeuroPilot, HiSilicon tiene HiAI, y así sucesivamente.
El benchmark AI Review de AnTuTu se divide en dos subcategorías: Clasificación de imágenes y Reconocimiento de objetos. La prueba de Clasificación de imágenes analiza datos de prueba que comprenden 200 imágenes y se basa en la red neuronal Inception v3, mientras que la prueba de Reconocimiento de objetos analiza un video de 600 cuadros y se basa en la red neuronal MobileNet SSD. Estas redes neuronales luego se traducen a la red neuronal que es compatible con el fabricante a través del SDK proporcionado por el proveedor. Si el chip no es compatible con algoritmos relacionados con la IA, la aplicación de benchmark utiliza TFLite para la evaluación comparativa, cuyos resultados, según advierte el propio AnTuTu, son insatisfactorios y poco confiables.
La puntuación de referencia está directamente relacionada con la velocidad y la precisión. Si se sacrifica la precisión por la velocidad, AnTuTu aplica penalizaciones a la puntuación. Esto desalentaría las trampas de la IA en las pruebas de referencia que se basarían simplemente en proporcionar resultados rápidos pero erróneos.
AnTuTu también ha establecido algunas observaciones especiales para el uso de su aplicación. Es poco probable que las plataformas que utilizan el mismo procesador de IA tengan grandes diferencias de puntuación, ya que el punto de referencia no solo pruebael rendimiento, sino que se centra enel rendimiento de la IA. Samsung aún no ha lanzado su SDK de IA, y HiSilicon está utilizando TFLite para ciertas funciones, lo que significa que sus puntuaciones serán bajas hasta que se mejoren esas situaciones. La versión básica de Android del dispositivo también tendrá un efecto en la puntuación, ya que Google mismo ha estado optimizando el soporte de la IA a nivel de sistema.
Incluso en la propia entrada del blog de AnTuTu se puede ver claramente que el objetivo de medirel rendimiento basado en IA puede no ser posible si se reduce simplemente a un número. Hay muchas variables implicadas en la computación basada en IA, lo que añade otra capa de complejidad a la interacción ya compleja entre diferentes soluciones de hardware y software. La puntuación numérica singular que resultaría de una actividad de evaluación comparativa no haría justicia a los matices que intervienen en el mundo de la IA. Así que, aunque mires tu puntuación y te sientas orgulloso en términos monetarios, debes saber que todavía estamos en las etapas relativamente tempranas de la IA y, más aún, de la evaluación comparativa de la IA.
Si desea leer más sobre IA, evaluación comparativa de IA y los desafíos involucrados, consulte nuestra entrevista conTravis Lanier, Gary Brotman y Ziad Asgharde Qualcomm .