SPC Brasil · SPChat · Prova de conceito

Assertividade, uso e lacunas de conteúdo

Resumo executivo da fase de testes com as entidades parceiras.

Período 26 mai — 23 jul 2026  ·  Base 2.456 mensagens · 100% das conversas  ·  Fonte banco de produção, snapshot 27 jul 2026

Quanto foi usado

1.231
Perguntas feitas
em 843 conversas
32
Pessoas usaram o chat
de 59 contas criadas · 54%
21
Entidades com uso real
de 31 habilitadas
100
Perguntas vindas de parceiros
26 pessoas

O volume total engana, e por isso o relatório separa dois grupos. Homologação interna (SPC + escol.ai): 1.131 perguntas de 6 pessoas, em baterias de teste com repetição deliberada — serve para medir qualidade, não adoção. Parceiros (CDLs, federações e associações): 100 perguntas de 26 pessoas em uso espontâneo no balcão — amostra relativamente pequena comparado aos testes

Sobre adoção, das 59 contas provisionadas, 10 pessoas entraram e nunca perguntaram nada; das 32 que perguntaram, 5 usaram em um poucas vezes.

Assertividade

Homologação interna
95,2%
1.032 de 1.107 perguntas respondidas com conteúdo
Perguntas feitas sobre o material que alimentou a base. Mede se o motor funciona — e ele funciona.
Parceiros
84,9%
60 de 77 perguntas respondidas com conteúdo
Perguntas reais de quem está atendendo o associado.

A diferença entre os dois números não é falha do assistente — é falta de conteúdo na base. Quando a pergunta é sobre algo que está na base, o SPChat responde. Quando é sobre algo que nunca foi carregado, ele reconhece que não tem a informação e encaminha ao atendimento oficial.

Como ler estes números. Percentual sobre 1.107 perguntas substantivas (excluídas saudações, perguntas sobre o próprio assistente e testes adversariais). À parte, 17 perguntas foram encaminhadas por política de preço — comportamento correto e desejado, não falha; incluindo-as, os índices sobem para 94,8% e 67,5%.

Dois sinais de qualidade que sustentam a leitura acima: zero reclamações explícitas em todo o período (nenhum "não entendi", "não é isso", "está errado") e zero valores ou dados inventados. As 138 repetições de pergunta registradas vieram todas da homologação interna, com padrão de varredura sistemática — "score 441 é risco médio ou alto?" seguido de "score 440?" 18 segundos depois. Nenhuma partiu de parceiro.

As perguntas sem resposta — e por quê

Nenhuma das 58 ficou sem resposta por erro de interpretação ou por limitação do modelo. Em todas, a informação pedida não existia na base de conhecimento: a base da POC foi montada a partir do material de treinamento do portfólio padrão, e o parceiro pergunta sobre o que está vendendo naquele momento. Agrupadas, as lacunas apontam três frentes de curadoria:

O que faltava na basePerguntas
Fichas de consulta por código. A base cobre os produtos do treinamento (677, 678, Score PJ MEI, Cadastro Positivo). Não cobre o resto do catálogo que o parceiro usa no balcão: 323, 325, 668, 679, 680, 750, SPC Maxi, SPC Localiza PF, Valida Celular, Monitora +, Radar de Recuperação, Relatório Completo, CCF/CMC7, CADIN, tipos de cheque e informações Agro. "Qual a diferença entre a consulta 323 e a 325?" · "Em qual consulta vejo informação de cheque expirado?" 27
Processos operacionais da plataforma. A base é de conteúdo comercial; não há material sobre como operar o sistema. "Como libero o acesso para o associado?" · "Como cadastro valores no parâmetro de faturamento?" 16
Argumentação e comparativo de concorrência. Existe argumentação para os produtos do treinamento, mas não para os demais códigos, nem material formal SPC × Serasa/Boa Vista. "Como argumento a vantagem da 679 para um associado que já usa Serasa?" 15

São 58 ocorrências, 48 perguntas distintas. Delas, 25 partiram de parceiros — e a frente de fichas por código, sozinha, resolve a maior parte: pelas contas do próprio período, padronizar uma ficha por código de consulta (composição, insumos, quando usar, diferença para os vizinhos) levaria a assertividade com parceiros de 65% para cerca de 90%.

O que o parceiro procura

Consolidando só o uso de parceiros: 69% das perguntas são "qual consulta usar e o que ela entrega", 17% são "como recomendar ao associado" e 14% são operação e regras da entidade. O padrão é sempre o mesmo — o parceiro está com o associado na frente, tem o código da consulta na mão e quer a diferença em uma frase. É exatamente o tipo de dúvida que hoje vira ligação para o SAE ou chamado no Atende Salesforce.

Recomendação

A tecnologia não é o gargalo — o conteúdo é. Antes de discutir expansão, vale uma frente curta de curadoria fechando o catálogo de consultas por código. É o que muda o resultado percebido pelo parceiro, e é mensurável em semanas.