🧠Kimi lança K3, modelo aberto que segura 1 milhão de tokens sem estourar a memória

A Kimi lançou o K3, um modelo de IA aberto que consegue lidar com 1 milhão de tokens de contexto (pense em livros inteiros, bases de código completas) sem que a memória do computador exploda. O segredo é uma técnica 100% open source chamada "delta attention", que muda fundamentalmente como o modelo lembra do que já leu. --- Numa IA convencional, cada palavra processada é guardada numa lista crescente chamada KV cache. Quanto mais texto, mais a lista cresce e mais memória consome. O delta attention troca essa lista por uma única matriz de tamanho fixo. Em vez de guardar tudo, ela corrige a memória a cada nova informação, como quem edita um rascunho em vez de empilhar post-its. Mil tokens ou um milhão, o espaço ocupado é o mesmo. --- O compromisso é que essa memória comprimida não armazena cada token com precisão perfeita. Por isso, na prática, os modelos misturam camadas dos dois tipos: algumas com atenção completa para busca exata, e o resto com atenção linear para economizar. É uma solução elegante para um dos maiores gargalos da IA atual.