Pular para o conteúdo
13 de novembrosex
12 de novembroqui
11 de novembroqua
9 de novembroseg
  1. Hugging Face Blog60

    Elith e NVIDIA lançam Nemotron-Personas-Finance-Japan, base sintética de personas financeiras do Japão

    Elith e NVIDIA lançaram o Nemotron-Personas-Finance-Japan, extensão de domínio financeiro da base aberta de personas Nemotron-Personas-Japan.

    Por que ler: O conjunto traz 9M de personas sintéticas em japonês com finanças domésticas e letramento financeiro, sob CC BY 4.0, o que permite treinar e avaliar agentes financeiros sem dados reais de clientes.

8 de novembrodom
7 de novembrosab
  1. The Decoder78

    Benchmark Into the Unknown reprova os nove agentes de IA testados em pesquisa autônoma

    Um benchmark chamado Into the Unknown, liderado por pesquisadores da Carnegie Mellon University com cientistas de laboratórios nacionais do Departamento de Energia dos EUA.

    Por que ler: O benchmark Into the Unknown mede honestidade e completude de agentes em questões abertas de laboratórios nacionais dos EUA, com 114 de 135 submissões reprovadas na checagem de integridade.

6 de novembrosex
5 de novembroqui
4 de novembroqua
3 de novembroter
2 de novembroseg
  1. Hugging Face Blog62

    Collinear AI publica o CWE-bench v2 com 100 tarefas de segurança e ranking de modelos

    A Collinear AI abriu o CWE-bench v2, conjunto público de 100 tarefas em que um agente recebe um repositório open source real e deve encontrar e corrigir uma falha de segurança sem quebrar a funcionalidade existente. As tarefas cobrem 91 CWEs e a pontuação é totalmente programática, com verificação determinística e reproduzível; há também um conjunto reservado para acompanhar tarefas que nenhum modelo viu. Entre os 11 modelos avaliados, o Gemini 4 Argon lidera com 67,8% de pass@1 e 81,0% de pass@4, à frente do Claude Opus 5.5 (67,3% e 78,0%), e 95 tarefas são resolvidas por ao menos um modelo, mas o líder falha 19% do conjunto em todas as tentativas. Na fronteira de custo, o DeepSeek V4.1 Flash alcança 57,0% de pass@1 a US$ 0,04 por rollout, o Opus soma dez pontos a US$ 1,83 e o Gemini chega a US$ 3,92. O conjunto, o avaliador e o harness são abertos, e as tarefas rodam pelo Harbor direto do repositório no Hugging Face, com acesso sujeito a aprovação.

    Por que ler: O conjunto público de 100 tarefas com verificação determinística permite reproduzir resultados e comparar modelos em correção de falhas de segurança, com o custo por execução ao lado do desempenho.

1 de novembrodom
27 de outubroter
  1. Google Research72

    Google Research apresenta framework sleep para LLMs reterem conhecimento em aprendizado contínuo

    O Google Research apresentou o framework sleep, que alterna fases ativas de interação com fases offline de consolidação de memória para permitir que LLMs aprendam continuamente sem esquecimento catastrófico. O método usa expansão de parâmetros com MoE, destilação de conhecimento e um estágio de sonho com seleção aleatória de especialistas e refinamento por RL. Nos testes, manteve queda de desempenho próxima de zero em tradução contínua para línguas não vistas, escalou até 10M tokens no BABILong e alcançou 48,9% em tarefa única e 46,2% em CPT no SQuAD, além de 79,2%, 69,0% e 46,1% em AIME 24/25 e HMMT 25.

    Por que ler: O texto detalha o mecanismo de consolidação e sonho do framework e reporta ganhos em tradução contínua, contexto longo e raciocínio matemático, com comparação a baselines como SFT e GRPO.