Is Hiper down?

Neste momento estamos passando por uma instabilidade no sistema causando lentidão em parte dos fluxos. A investigação da causa raiz já está em andamento e em breve traremos novas informações.

Após a instabilidade na infraestrutura ser mitigada com upscale da carga, validamos que o ambiente normalizou. Estamos acompanhando e monitorando o ambiente para garantir a estabilidade do mesmo

Continuamos monitorando após a normalização do ambiente e não identificamos mais nenhum impacto proveniente do incidente. Dessa forma, estamos encerrando a tratativa deste incidente.

Neste momento estamos passando por uma instabilidade no sistema causando lentidão em parte dos fluxos. A investigação da causa raiz já está em andamento e em breve traremos novas informações.

A instabilidade ocorreu devido a uma oscilação com a infraestrutura dos servidores. Foram aplicadas ações para mitigar o incidente e no momento o acesso está normalizado. Seguiremos monitorando e acompanhando para garantir a estabilidade das aplicações.

Após o monitoramento ostensivo ao longo da tarde, não identificamos mais nenhum impacto proveniente do incidente evidenciado durante o período da manhã, dessa forma, consideramos estamos encerrando a tratativa deste incidente.

Descrição do caso: identificamos um aumento de consumo das instâncias do banco de dados de leitura do cadastro de produto que está ocasionando lentidão em operações relacionadas ao cadastro de produto, como: pesquisa de produtos, listagem de produtos, pesquisa de produtos no faturamento do Hiper Gestão e sincronização. O problema foi identificado às 09h33, nossos times estão atuando para normalizar o problema.

Atualização do caso: identificamos a causa do problema e estamos implementando um ajuste nos índices do banco de dados para normalizar a performance do ambiente.

Atualização do caso: identificamos a causa do incidente como sendo um problema na escolha do plano de execução do banco de dados, após a criação do novo índice, o tempo para escolha do plano de execução aumentou drasticamente, ocasionando lentidão na execução de algumas consultas. O índice problemático já foi desativado, estamos atuando para limpar o cache das coleções do banco de dados e restabelecer a performance do ambiente.

Atualização do caso: até o momento, duas instâncias já limparam o cache e os indicadores de CPU e tempo de resposta normalizaram. As demais instâncias do banco de dados estão em processo de limpeza de cache. Em paralelo, estamos realizando um upgrade de capacidade do cluster para garantir que as estatísticas sejam compiladas adequadamente, melhorando a performance das consultas. Neste momento, o acesso ao cadastro de produto do Hiper Gestão está normalizado. Nossos times seguem acompanhando o ambiente para garantir que nenhum impacto adicional seja evidenciado.

Atualização do caso: após o monitoramento ostensivo do ambiente durante a tarde de hoje, não identificamos mais nenhum impacto proveniente do incidente evidenciado durante o período da manhã, dessa forma, consideramos estamos encerrando a tratativa deste incidente. Nos próximos dias, o artigo de revisão do incidente será publicado aqui na página de status com o detalhamento do ocorrido.

Identificamos um aumento no tempo de resposta do Hiper Gestão, ocasionado por dois servidores que apresentaram aumento abrupto de consumo de CPU. Nossos times estão atuando neste momento para normalizar a situação.

Após implementar as ações de correção, os indicadores normalizaram por volta das 14h55 e o acesso foi completamente restabelecido. Neste momento, seguimos monitorando o ambiente para mitigar qualquer impacto adicional.

Após o monitoramento contínuo do ambiente, identificamos que nenhum impacto adicional foi evidenciado. Como próximos passos, nossos times devem concluir a elaboração do relatório do incidente, mapeando ações de mitigação que serão implementadas para evitar a recorrência deste problema.

Identificamos que a fila de sincronização está apresentando um tempo maior que o habitual para processar as informações. Neste momento, nossos times estão atuando para identificar o motivo da degradação com o objetivo restabelecer a performance do serviço de sincronização. Em breve traremos novas informações a respeito desta instabilidade.

A fix has been implemented and we are monitoring the results.

Identificamos a causa raiz do incidente, aplicamos uma correção (a qual demorou um tempo acima do esperado para surtir efeito) mas por volta de 13:00 o sistema estava normalizado. A sincronização processou toda a fila, os microserviços afetados voltaram a responder rapidamente e o banco de dados (que apresentou um alto processamento agora de meio dia também) também normalizou.