Este documento tem o objetivo de explicar o incidente ocorrido neste sábado (01/09) que causou a indisponibilidade das lojas Tray e Tray Corp.
Descrição do Incidente.
Às 12:07 nosso sistema de monitoramento notificou problemas em nossa infraestrutura de redes e servidores. Imediatamente iniciamos a verificação para identificação e correção do problema.
Após primeira análise, detectamos problemas críticos em nossa estrutura de firewall, com degradação de performance e indisponibilidade.
Por se tratar de um problema crítico, todos os times e especialistas foram acionados para auxiliar na rápida correção do problema com as seguintes atividades:
1 - Contato com a empresa que faz a gestão dos firewalls. Os equipamentos apresentavam falha geral impossibilitando o acesso para gestão ou manutenção;
2 - Acionamos nosso time no data center para analisar localmente o problema. Em poucos minutos os especialistas estavam em nosso ambiente e confirmaram que os firewalls estavam totalmente indisponíveis, não respondendo a comandos básicos. Desta forma foi efetuado um restart forçado nos equipamentos.
3 - Após executar o procedimento manual, os equipamentos voltaram a responder com sucesso.
Como descrito acima, uma falha geral nos equipamentos da camada de firewall causou uma indisponibilidade de 1 hora em todo o ambiente Tray.
A Tray realizou grandes investimentos em uma nova solução de segurança de última geração que trará maior disponibilidade, performance e segurança para todos os sistemas oferecidos a seus clientes.
Na última semana concluímos a instalação parcial dos novos firewalls e estes já estão em operação em um dos nossos data centers. Estamos trabalhando para ativar esta mesma estrutura em nosso data center principal o quanto antes.
Portanto estamos trabalhando em ações de melhorias a partir deste problema.
[CONCLUÍDO] Aquisição de nova solução de firewall de última geração e tolerante a falhas.
[CONCLUÍDO] Troca dos firewalls em um dos data centers.
[EM ANDAMENTO] Planejamento e adequação da infraestrutura para manutenção e troca dos firewalls em nosso data center principal.
[MELHORIA CONTÍNUA] Rever e melhorar o plano de redundância e recuperação de desastres. Temos uma grande infraestrutura dividida em data centers distintos para oferecer a alta disponibilidade para nossos clientes e não aceitamos incidentes deste nível.
Sentimos muito por ter ocorrido o problema. Vamos trabalhar arduamente para oferecer soluções de alta disponibilidade para nossos clientes.
Equipe Tray/Locaweb
Posted Sep 05, 2018 - 08:58 GMT-03:00
Monitoring
01/09/2018
Prezados lojistas,
A instabilidade nos servidores para acesso ao painel administrativo e as lojas foi corrigida, estamos operando normalmente.
Equipe Tray/Locaweb
Posted Sep 01, 2018 - 14:02 GMT-03:00
Identified
01/09/2018
Prezados lojistas,
Identificamos uma instabilidade nos nossos servidores, o acesso ao painel administrativo e as lojas estão indisponíveis.
Nossa equipe de infraestrutura já está atuando para solucionar o problema, mais rápido possivel.
Solicitamos que acompanhem os próximos POSTs desse canal.
Equipe Tray/Locaweb
Posted Sep 01, 2018 - 13:09 GMT-03:00
This incident affected: Loja Virtual and Painel Administrativo.