Aumento de erros no faturamento e sincronização de operações do Hiper Gestão

Update timeline

1. investigating Nov 27, 2024, 11:29 AM UTC

   Identificamos um aumento de erros relacionados ao faturamento e sincronização de operações no Hiper Gestão. Os erros estão sendo gerados devido à um aumento de consumo do banco de dados principal que está sendo motivado por bloqueios em sessões entre a aplicação e o banco. Nossos times estão neste momento atuando com foco total em mitigar os impactos do incidente.

2. monitoring Nov 27, 2024, 11:47 AM UTC

   Nossos times identificaram a causa raiz do incidente e aplicaram uma correção. À partir das 06h50 da manhã de hoje, foi identificado um aumento no bloqueio de sessões do banco de dados principal. Após alguns minutos, a taxa de erros e o tempo de resposta do serviço responsável pelo faturamento aumentaram significativamente, culminando em falhas no faturamento do Hiper Gestão e na sincronização de operações do Hiper Caixa e Hiper Loja. Os bloqueios foram motivados pela ativação de um processo de auditoria habilitado no banco de dados. A auditoria foi habilitada à fim de identificarmos a causa raiz de uma issue relacionada à operações não concluídas que está sendo tratada com prioridade. Às 08h30 da manhã, conseguimos desabilitar completamente o processo de auditoria. Após isso, todas as sessões bloqueadas no banco de dados foram liberadas, o tempo de resposta e a taxa de erros do serviço responsável pelo faturamento normalizaram e o funcionamento da aplicação foi completamente restabelecido. Nossos times seguem monitorando a saúde do produto e acompanhando o cenário junto ao time de Atendimento à fim de garantir que o incidente foi completamente resolvido.

3. resolved Nov 27, 2024, 01:54 PM UTC

   Após o acompanhamento assíduo dos indicadores de saúde do produto e das filas junto ao time de Atendimento, não identificamos mais nenhum impacto decorrente do incidente relatado. Dessa forma, encerramos a tratativa deste caso. A causa raiz do incidente foi identificada e corrigida. O impacto pode ter sido percebido pelos usuários entre 06h50 e 08h30 (horário de Brasília) de hoje (27/11/2024). Seguiremos atuando com foco em melhorar o processo de gerenciamento de incidentes e a eficácia das ações de confiabilidade do produto, à fim de minimizar o risco de ocorrência de novos incidentes.