🧪OpenAI admite: principal teste de código para IA está quebrado
A OpenAI fez uma auditoria no SWE-Bench Pro, que é basicamente a prova mais usada pela indústria para medir se uma IA sabe programar de verdade. O resultado? 30% das tarefas do teste estão com defeito. Não funcionam. É como descobrir que a régua que todo mundo usa para medir altura estava torta esse tempo todo. --- A empresa está retirando publicamente sua recomendação de que pesquisadores usem esse benchmark como referência principal. Isso é raro: uma empresa admitir que o teste no qual seus próprios modelos se saíram bem não é confiável. Mostra um problema maior: conforme as IAs ficam mais poderosas, os testes que usamos para compará-las não acompanham o ritmo. --- Na prática, aqueles rankings de 'qual IA programa melhor' que você vê por aí ficam menos confiáveis. É bom ter ceticismo quando alguém vier com número de benchmark como prova definitiva de superioridade.






