A Primate Labs, desenvolvedora do popular benchmark Geekbench, anunciou uma nova ferramenta de benchmarking chamada Geekbench AI. Esta ferramenta está disponível para iOS, Android, Windows, macOS e Linux e foi projetada para avaliar o desempenho de dispositivos em tarefas de machine learning.
Aqui está o que sabemos
Anteriormente conhecido como Geekbench ML, o novo benchmark avalia o desempenho de CPU, GPU e NPU em tarefas de machine learning. O Geekbench AI fornece três tipos de pontuações: precisão simples, meia precisão e quantizada, com a capacidade de medir a precisão dos modelos e comparar seu desempenho ao longo do tempo.
Geekbench IA suporta várias estruturas de IA, como CoreML para macOS e iOS, OpenVINO para Windows e Linux e QNN para dispositivos Snapdragon.
Os testes são realizados com pelo menos cinco iterações para obter resultados mais precisos, e a nova ferramenta é integrada ao navegador Geekbench para facilitar a comparação entre dispositivos.
Fonte: Geekbench IA
A importância do benchmarking na área da inteligência artificial é cada vez mais reconhecida, uma vez que permite aos desenvolvedores e pesquisadores medir e comparar o desempenho dos diferentes dispositivos e plataformas. A introdução do Geekbench AI vem preencher uma lacuna no mercado, oferecendo uma solução que considera as especificidades das cargas de trabalho de AI. Com a diversidade de dispositivos disponíveis atualmente, desde smartphones até poderosos computadores de mesa, a capacidade de avaliar o desempenho de machine learning de forma eficaz é crucial.
Uma das características mais notáveis do Geekbench AI é a sua flexibilidade. Ao suportar diversas estruturas como o CoreML, OpenVINO e QNN, os utilizadores podem testar o desempenho em uma ampla gama de cenários, adaptando os benchmarks às suas necessidades específicas. Isso significa que desenvolvedores que trabalham em diferentes plataformas podem obter relatórios consistentes e relevantes, o que facilita a identificação de áreas a melhorar nas suas aplicações.
A precisão dos testes é um fator fundamental a considerar. O Geekbench AI realiza múltiplas iterações dos testes, o que ajuda a eliminar anomalias e fornece uma média que é mais representativa do desempenho real do dispositivo. Esta abordagem sistemática é uma melhoria significativa em relação aos benchmarks tradicionais, onde resultados isolados podem ser afetados por uma variedade de fatores externos.
Além disso, as três pontuações oferecidas—precisão simples, meia precisão e quantizada—permitem uma análise detalhada do desempenho em diferentes contextos de execução. A precisão simples é ideal para cenários onde a exatidão é primordial, enquanto a meia precisão e quantizada são mais apropriadas para aplicações em que o desempenho e a eficiência são cruciais. Isto permite que os desenvolvedores selecionem a abordagem que melhor se adapta às suas necessidades, sem comprometer a qualidade.
Outro aspeto interessante a considerar é a crescente relevância das unidades de processamento neural (NPU). À medida que os dispositivos se tornam mais capazes de realizar tarefas complexas de machine learning de forma local, a necessidade de benchmarkings que avaliem a eficiência das NPUs torna-se ainda mais evidente. O Geekbench AI posiciona-se como uma ferramenta fundamental para garantir que estes componentes estão a funcionar da melhor maneira possível.
A possibilidade de comparar dispositivos ao longo do tempo é outro benefício importante. À medida que novas versões de hardware e software são introduzidas, os desenvolvedores poderão ver como as melhorias impactam o desempenho nas suas aplicações, ajudando-os a tomar decisões informadas sobre atualizações e otimizações.
Com a crescente adoção de tecnologias de inteligência artificial em diversos sectores, desde saúde até finanças e entretenimento, a capacidade de avaliar de forma eficaz o desempenho das aplicações de AI é não apenas uma vantagem, mas uma necessidade. O Geekbench AI surge num momento crítico, oferecendo uma solução robusta e acessível para todos os que desejam compreender e melhorar o desempenho das suas ferramentas de machine learning.
