Um consórcio de 40 empresas de tecnologia, onde estão incluídos Facebook e Google, uniu-se para lançar um conjunto de benchmarks de avaliação para inteligência artificial. O objetivo é de que, utilizando estes benchmarks para medir as ferramentas de inteligência artificial, as empresas possam compará-las e identificar as melhores soluções para os seus produtos e serviços.

Este conjunto de benchmarks, a que foi dado o nome de MLPerf Inference v0.5, é centrado em três tarefas comuns de machine learning: classificação de imagens, deteção de objetos e tradução automática. Dadas as diferentes capacidades de processamento de diferentes dispositivos, existem benchmarks separados para inteligência artificial em várias plataformas, como smartphones, servidores ou processadores.

Além de fornecerem orientações sobre as melhores práticas para empresas no campo da inteligência artificial, espera-se que este cunjunto de benchmarks venha estimular a inovação, já que as organizações têm sido lentas a adotar esta tecnologia emergente.

Em declarações ao Wall Street Journal, o presidente da MLPerf, Peter Mattson, afirma que "ao criar métricas comuns e relevantes para avaliar novas estruturas de software de machine learning, aceleradores de hardware e plataformas de cloud em situações da vida real, estes benchmarks irão estabelecer um campo de ação nivelado que até mesmo as empresas mais pequenas poderão usar".