¡Hola!
Con la intención de ofrecer una mejora en la red, así como de ofrecer un potente ANTIDDOS, realizaremos el próximo 11/10/2018 un mantenimiento de madrugada, que afectará a los rangos afectados.
Durante el tiempo de mantenimiento, es muy posible que notéis cortes intermitentes, se espera una duración de 2h.
Gracias por vuestra comrpensión.
Actualización 11/10/2018
01:00AM - ¡Empezamos!
05:41AM - Mantenimiento terminado.
Buenos días;
El servidor CP17 se encuentra bajo ataque DDOS UDP.
Estamos trabajando para estabilizarlo lo antes posible.
¡Hola!
Por mantenimiento en unos de los routers de un rack, con la única intentción de seguir mejorando y ofrecer un buen servicio, 8 nodos se verán afectados, es posible que la madrugada del 11 al 12 de Septiembre a partir de las 00h, notéis cortes intermitentes del servicio, hasta finalizar el mantenimiento, se preveé que dure unas 2h, en cuanto finalice será comunicado por aquí.
Gracias por su atención
Buenas tardes:
El centro datos informa que va a finalizar los mantenimietnos de su red electríca esta madrugada.
Es posible que se noten cortes intermitentes en algunos servicios en el horario indicado, con esto ya se pone fin a los mantenimientos de la red electrica que Verizon ha programado en este mes, y suele realizar tras el paso de varios años.
Verizon (encargado del sistema de red electrica) va a realizar un mantenimiento la noche del uJeves al Viernes en los equipos.
Se provee que entre las 00:30h y 2:00h en la madrugada del Jueves al Viernes, caídas intermitentes en algunos servidores.
El mantenimiento se produce para fortalecer la eléctrica de red y mejorar los equipos encargados de la misma.
Gracias y disculpar las molestias.
Actualización: Intervención finalizada.
Hola:
El servidor compartido CP94, está experimentando ataques de red saturando así el tráfico:
Estamos trabajando en ello para que esté estable lo antes posible.
Date first seen Duration Proto Dst IP Addr Flows(%) Packets(%) Bytes(%) pps bps bpp 2017-01-27 07:42:43.293 3612.949 any ? 185.50.199.194 958380(45.9) 972108( 1.1) 49.9 M( 0.1) 269 110410 51
Un saludo
Estamos experimentando problemas de hardware, concretamente un fallo en el swich que afecta la conectividad de los siguientes nodos:
vail
Nuestros técnicos ya estan trabajando para resolverlo
-------------------- Actualización --------------------
Problema resuelto.
Estamos trabajando en los problemas de red que estamos presentando, perdida de paquetes, lentitud etc.
Buenas noches :
Nuestro proveedor ha actualizado el panel de control de dominios con unas nuevas e interesantes mejoras.
Posiblemente por error del proceso de sincronización, se hayan creados facturas (por error con vencimientos erróneos) de algunos dominios, si es así no te preocupes, la factura se cancelará, y se sincronizara manualmente la fecha del mismo.
El proveedor de dominios está revisando este tema para solucionarlo y crear las mínimas molestias posibles.
Buenas noches :
Con la intención de lo ocurrido ayer no vuelva a suceder, el centro de datos va a proceder a actualizar el firmware de los routers.
De 5:00AM a 6_00AM, e sposible que notéis alguna caida de 30 minutos máximo.
Un saludo
Actualización 06:06AM
- Mantenimiento finalizado, la duranción ha sido de 15m:4s.
- INCIDENCIA 13:12h
Reportamos perdida de paquetes y cortes en algunos servicios debido a falla de red en el centro de datos.
- ACTUALIZACION : 13:46
La incidencia ha sido resuelta, ha sido provocada por las sesiones BGP de unos de los routers principales del centro de datos, este ha provocado un colapso en las rutas BGP, se ha sustituito y levantado las mismas nuevamente, no se esperan más cortes en el servicio, el servicio está funcionando con normalidad tras el cambio del router.
Nos han confirmado que es algo totalmente excepcional, y que en 15 años de servicio solo ha ocurrido en 2 ocasiones, se trabaja con marcas Cisco que son las más fiables en cuanto a hardware, para intentar dar el mejor servicio y estabilidad, pero a veces hasta los mejores fallan.
Lamentamos las molestias profundamente, y la brevedad de las explicaciones durante la incidencia, en una incidencia de estas magnitudes intentamos dar la mayor información posible al mayor número de usuarios, para que estén al tanto de la incidencia.
Desde el primer minuto de la caída ya se estaba trabajando en su recuperación.
Actualización de seguridad de CP58.
Se esperan intermitencias en los servicios web, los correos, así como el acceso a cPanel y WHM no deberían presentar problemas.
Gracias por su comprensión.
Intervención Finalizada.
Nuestros tecnicos estan trabajando en la incidencia.
Estamos presentando problemas de red, durante unos 15 minutos a causa de unos de los routers Cisco frontera, ha habido unos problemas de inestabilidad durante unos minutos, en principio está solucionado ya, seguiremos monitorizando el tráfico.
Gracias por su comprensión.
Hemos detectado una falla en el almacenamiento del nodo apolo, el equipo tecnico está trabajando en la incidencia estos momentos.
Se prevee un downtime de 30 minutos en los servicios alojados en el nodo.
Solucionado 13:35.
Actualmente estamos trabajando en una falla en la red que esta afectando a dos de nuestros nodos, Galadriel y Legolas, presentan problemas de conectividad..
- En estos momentos nuestros técnicos estan investigando varios reportes de perdidas de paquetes que esta afectando a varios servicios.
Actualización : Incidencia localizada y mitigada, seguimos en observación.
Se actualizan los sistemas de los diferentes routers para ofrecer un mejor servicio y poder así, mantener el buen estado de la red.
Disculpen las molestias.
Actualización : Mantenimiento finalizado.
- Investigando problema de red en el centro de datos.
UPDATE : Caida router Cisco 6500, solucionada.
- Hemos detectado problemas de conectividad en el nodo Tauriel, estamos investigando los motivos en este momento 12:37pm
- Incidencia solucionada 12:48, un fallo en el enlace de almacenamiento de fibra.
Problema de procesamiento en nodo de virtualizacion 'orion' debido a una sobrecarga derivada de un ataque DDoS sobre varios VPS.
Estado actual: Resuelto | Nodo Estable
Nuestros técnicos estan trabajando para resolver un fallo en el almacenamiento de fibra en apolo, tiempo estimado 35 minutos.
============
10:35 Update
El downtime a sido desde la 09:55 hasta 10:26
El servicio vuelve a funcionar con normalidad.
Disculpen las molestias ocasionadas
Detectamos problemas con la red en el nodo galadriel, el nodo a sido intervenido por nuestros técnicos.<br /><br />Informamos que hemos detectado ya el problema y que estamos trabajando para darle pronta solución.<br /><br /><br /><br />
ACTUALIZACIÓN :
Estamos filtrando el tráfico por 2 canales diferentes, esperamos que en 30 minutos esté todo online.
Un saludo
Actualización 2 (Incidencia Solucionada) :
La incidencia ya ha sido solucionado, a continuación explicaremos detalladamente lo sucedido en el NODO Galadriel :
16:30h a 16:45h : Recibimos una alerta de un tráfico entrante de 12.58GB/s provocado por un ataque de denegación de servicio, cuando el tráfico normal suele rondar los 500-600/Mb/s.
16:45h - 17h : Se analiza los daños ocasionados por éste ataque, y se detecta que el router principal del nodo ha sido afectado por el mismo y se requiere un cambio.
17:00h a 17:15h : Se sustituye el router Cisco principal, pero la entrada de tráfico sigue activa, aprox. unos 7GB, saturando la entrada de RED.
17:15h a 17:30h : Nos ponemos en contacto con nuestros operadores de red para poder asimilar el ataque, y poder hacer frente al mismo, ampliando el caudal de red.
17:30h a 18:30h : Cogent y NTT nos amplian el tráfico (10 veces más de lo normal) a un puerto de 10Gb/s cada uno, podiendo asimilar un tráfico entre ambos de 20GB y poder asumir el tráfico del ataque.
18:30h a 19h : Tras la confirmación de la ampliación del caudal de tráfico, desde el CPD, se hacen los pertinentes cambios en el hadware frontera para poder servir esos 20GB de tráfico y reestablecer el servico, sustituyendo los Cisco, por otros que puedan servir ese tráfico.
19h a 20h: La configuración y instalación del nuevo Hardware ya está instalada y configurada, listo para afrontar el nuevo tráfico.
21h a 22:30h : Se realiza un nuevo cableado de los 2 nuevos puertos de 10GB cada uno, y se enlaza a los nuevos router frontera, mientras se mantiene el contacto con Cogent y NTT confirmando que disponemos ya de los nuevos puertos
22:30h a 23h : La intervención y ampliación de RED se da por finalizada, y arrancamos los nuevos equipos, asumiento el ataque y volviendo a la normalidad el servicio.
Buenos días :
Estamos presentando inestabildiad del NODO Smaug tras una actualización crítica del sistema, estamos trabajando en él para que se solucione definitivamente el problema, y barajando la posibilidad hacer un rollback del sistema en el caso de no solucionarse, para evitar la inestabilidad provocada en dicho nodo.
Gracias por su compresión.
Actualización 12:58
En estos momentos está controlada, se mantendrá en observación durante el día de hoy, y sino se repite, daremos ésta incidencia por cerrada.
Debido a un fallo de la tarjeta de RED del NODO Tauriel, nos hemos visto obligados a realizar una intervención de emergencia para repararlo físicamente en el Datacenter.