📊Databricks testa IAs de código internamente e traz lições
A Databricks, gigante de dados que vale mais de US$ 60 bilhões, construiu seu próprio benchmark interno usando sua base de código de milhões de linhas. Yuchen Jiang, pesquisador da empresa, compartilhou as conclusões mais importantes. Primeiro: modelos de código aberto já são competitivos de verdade. Segundo: não existe um modelo único que seja o melhor em tudo. O segredo é usar um roteador inteligente que escolhe o modelo certo para cada tarefa. --- A terceira lição talvez seja a mais útil para quem contrata serviços de IA: pare de comparar modelos pelo preço por token. Compare pelo custo por tarefa concluída. Um modelo mais caro por unidade pode resolver o problema em menos tentativas e sair mais barato no final. A Databricks está construindo exatamente esse roteador e os resultados iniciais mostram economia significativa sem perda de qualidade.
A Databricks, gigante de dados que vale mais de US$ 60 bilhões, construiu seu próprio benchmark interno usando sua base de código de milhões de linhas. Yuchen Jiang, pesquisador da empresa, compartilhou as conclusões mais importantes. Primeiro: modelos de código aberto já são competitivos de verdade. Segundo: não existe um modelo único que seja o melhor em tudo. O segredo é usar um roteador inteligente que escolhe o modelo certo para cada tarefa.
— @Yuchenj_UW View on X
A Databricks descobriu que, ao testar modelos de IA em sua própria base de código de milhões de linhas, a estratégia de usar múltiplos LLMs especializados supera a dependência de um único modelo generalista. A pesquisa interna da empresa, liderada pelo cientista