Um grupo de investigadores da Computer Vision Lab, do Instituto Federal de Tecnologia de Zurique, criou um sistema de benchmark para testar a performance das plataformas de redes neurais utilizadas para realizar tarefas comuns de inteligência artificial. A ideia é medir o desempenho dos sistemas de IA, tal como é feito nos computadores ou smartphones, por exemplo, para facilitar aos fabricantes e outros investigadores de IA a criação de modelos mais aperfeiçoados.

A aplicação chama-se AI Benchmark e permite, por exemplo, a comparação da velocidade dos modelos de IA a serem executados em diferentes smartphones Android, gerando uma pontuação de performance. Na página da app na Google Play são descritas outras funcionalidades, tais como detetar se o dispositivo tem o chip de IA dedicado ou se os equipamentos (com pelo menos SO Android 4.1 instalado) são suficientemente rápidos para desempenhar as respetivas funções.

Algumas das funcionalidades de inteligência artificial comparadas passam pela classificação de imagem, a performance no reconhecimento facial e a capacidade de segmentação e melhoramento de fotos.

Os investigadores já criaram uma lista de pontuações com os smartphones que revelaram o melhor desempenho, destacando em primeiro lugar o Huawei P20 Pro como o mais “inteligente”, obtendo 6.397 pontos na soma dos nove testes executados. Em segundo lugar, e marcado uma diferença abismal na pontuação relativa aos mesmos critérios surge o OnePlus 6 com 1.875 pontos, acompanhado de outros modelos com performances semelhantes, como o Sony Xperia ZX2 e o Samsung Galaxy S9+.

Os resultados refletem, no entanto, dois aspetos principais: a velocidade do processador e a quantidade de RAM. Tratam-se de componentes essenciais que afetam a performance do algoritmo de inteligência artificial. Tal como explicou um investigador ao Tech Crunch, os sistemas de inteligência artificial atualmente a funcionar nos smartphones estão a ser processados remotamente em servidores na cloud e não nos próprios dispositivos. Por isso, a aplicação testa a capacidade de performance dos equipamentos a lidar com a IA.

Tabela de perfomance IA

Durante os testes, os investigadores descobriram que o chip Snapdragon 845, considerado o mais poderoso do mercado, não é, de longe, o que oferece o melhor desempenho de inteligência artificial. A sua aceleração de performance em 8x apenas está disponível em “redes quantizadas” que não podem ser utilizadas em smartphones e nas “redes normais” não são aceleradas por falta dos respetivos drivers. Em conclusão, os técnicos referem que ao desenvolver uma app que utilize IA, os chips Snapdragon não fazem aceleração se não forem concebidos em concreto para os seus próprios SDK.

Desta forma, o vencedor é o processador Kirin 970 da Huawei, que embora mais lento que o Snapdragon, consegue atingir quase 10 vezes a aceleração em redes neurais. Além disso, o P20 Pro e o P20 são os únicos modelos no mercado a correr Android 8.1 capazes de gerar aceleração de IA. No entanto, o equipamento não consegue fazer aceleração em “redes quantizadas”, uma atualização que a fabricante prometeu para o final do ano. Os investigadores salientam que se a Huawei resolver este problema, e aumentar a capacidade de RAM do seu equipamento, a competição terá dificuldade em acompanhar a fabricante nos próximos anos.

Para concluir, os investigadores referem que os processadores Snapdragon necessitam de drivers para obter uma melhor performance. A Huawei é a que está melhor posicionada face aos resultados obtidos. A Samsung tem processadores poderosos, mas falta-lhe para já suporte na aceleração. A investigação realça ainda a tecnologia da Mediatek, referindo que os seus processadores suportam aceleração de IA tanto em redes “normais” como “quantizadas”, obtendo uma boa perfomance em smartphones de gama média.