Escrito por operador R8H3 el 10/12/2023 17:54
UPDATE 15/12/2023 - 09:30 (CET)
Estimados clientes,
Como continuación a las comunicaciones realizadas respecto al incidente que registramos el pasado 10/12, os informamos que ayer recibimos del laboratorio francés especializado el disco reparado y que esta noche ha quedado instalado en la infraestructura del data center de Madrid.
Los equipos técnicos están recuperando el servicio de forma ordenada y en las próximas horas estará 100% disponible para todos. A lo largo de la mañana podréis acceder a vuestros servidores con la misma información que contenían el día del incidente, si no habéis solicitado la recuperación de un backup previo.
Dado que durante esta semana hemos estado levantando máquinas con el último backup disponible, tu servicio puede encontrarse en alguna de las siguientes situaciones:
1.- Tu servidor está en la misma situación que en el momento del incidente
2.- Infraestructura, nueva o antigua y operativa con último backup disponible
En tu panel de control verás tu servidor operativo con la información recuperada del último backup disponible:
Volvemos a reiterar nuestras disculpas por las molestias ocasionadas. Os garantizamos que hemos trabajado 24/7 para que una incidencia tan altamente improbable como la registrada se solucionara cuanto antes y, sobre todo, sin pérdida de datos en vuestros servicios.
Como siempre, seguimos a vuestra disposición,
Tu Equipo Gigas
----------------------------------------------------------------------------------------------------
UPDATE 14/12/2023 - 09:30 (CET)
Estimados clientes,
Como continuación a las comunicaciones realizadas respecto al incidente que registramos el pasado 10/12, os informamos que en este momento hemos conseguido recuperar la mayor parte de los servidores cloud afectados, con el último backup disponible.
Aquellos clientes que nos han solicitado la recuperación de su último backup disponible, encontrarán sus servidores en alguna de estas situaciones:
1.- Backup recuperado sobre infraestructura nueva.
2.- Backup recuperado sobre la misma infraestructura
Como dijimos anteriormente, esperamos que entre 24-36 horas podamos recuperar el disco corrompido con el que reconstruir el índice de los otros discos y recuperar todo el agregado, para que la información que teníais el 10/12 vuelva a estar disponible en vuestros servidores.
Volvemos a reiterar nuestras disculpas por las molestias ocasionadas. Realmente ha sido una situación muy desafortunada. Para nosotros la prioridad era solucionarlo y no hemos dejado de trabajar día y noche para conseguirlo lo que, unido a la complejidad para estimar el tiempo de resolución, nos ha impedido dar la respuesta rápida y cercana que esperabais y que nos hubiera gustado dar.
Seguimos a vuestra disposición,
Tu Equipo Gigas
----------------------------------------------------------------------------------------------------
UPDATE 13/12/2023 - 10:54 (CET)
Estimado cliente,
Lamentamos comunicarte que seguimos trabajando en la recuperación de los datos originales en los servidores afectados por la incidencia del almacenamiento SAS en el datacenter de Madrid. Dicho almacenamiento cuenta con los estándares más altos y las recomendaciones del fabricante a nivel de disponibilidad, y está preparado para que fallen discos y se pueda reconstruir la información de forma transparente en cuestión de minutos sin ninguna pérdida de servicio. Desafortunadamente, el domingo fallaron dos discos de un mismo agregado (un espacio de almacenamiento acotado) en un intervalo de pocos minutos y al poco tiempo, desafortunadamente, se reinició una de las cabinas que controlan ese agregado y se corrompió un tercer disco, durante el proceso de regeneración de los discos dañados. La probabilidad de que suceda algo así es prácticamente nula, pero desgraciadamente ha pasado.
Estamos trabajando con el fabricante para ver cómo se puede recuperar la información de dicho agregado y, en paralelo, hemos enviado el disco corrompido a un laboratorio muy especializado en el extranjero, que está intentando recomponerlo a nivel físico. El equipo de Gigas está trabajando sin descanso y haciendo todo lo que está en nuestra mano para poder tener el servicio restablecido lo antes posible, pero lamentablemente no tenemos aún una visibilidad clara de cuándo podrá solucionarse el problema. Si la recuperación del disco fuera exitosa podríamos recomponer el índice de los otros discos, recuperar todo el agregado y reconfigurar la plataforma para que la información y los servicios vuelvan a estar disponibles en cuestión de aproximadamente dos días.
En cualquier caso, y con el objetivo de recuperar el servicio de los clientes afectados lo antes posible, estamos recuperando los datos de los backups para aquellos clientes que nos lo están solicitando. Si no has solicitado todavía la recuperación del backup, por favor abre un ticket con la referencia “BACKUPDIC23” y con el nombre del servidor afectado para que podamos recuperar la información de tu último backup lo antes posible. Cuando posteriormente tengamos la información recuperada, podremos también volver a asignarla a tu servidor afectado.
Si además tienes contratado un servicio de backup avanzado, solicítanos por favor igualmente que te recuperemos el backup estándar y una vez recuperado podrás recuperar también el último backup avanzado.
Desde Gigas entendemos y compartimos tu preocupación y frustración y estamos trabajando sin parar para solucionar esta situación, que realmente es muy desafortunada. Sentimos profundamente las molestias ocasionadas y seguimos a tu disposición.
Atentamente,
Gigas Hosting
----------------------------------------------------------------------------------------------------
UPDATE 13/12/2023 - 10:20 (CET)
Estimados clientes,
Actualmente, seguimos trabajando en la recuperación de los datos originales en los servidores afectados por la incidencia del acceso al almacenamiento SAS en el Datacenter de Madrid. Lamentablemente el fabricante nos indica que el proceso puede dilatarse y no tenemos una estimación de cuándo puede finalizar.
Con el objetivo de recuperar el servicio de los clientes afectados lo antes posible estamos recuperando los datos de los backups para aquellos clientes que nos lo soliciten. Hemos conseguido levantar gran parte de las máquinas afectadas desde los backups y esperamos completar las restantes lo antes posible.
Si estás afectado y aún no has abierto incidencia, puedes abrirla aportando los siguientes datos vía email (soporte@gigas.com) /ticket de soporte. Es MUY IMPORTANTE que añadas estos datos:
Lamentamos profundamente las molestias ocasionadas
----------------------------------------------------------------------------------------------------
UPDATE 12/12/2023 - 11:20 (CET)
-------------------------------------------------------------------------------------------------
UPDATE 12/12/2023 - 00:15 (CET)
Estimados clientes,
Continuamos trabajando en la resolución de la incidencia pero le recomendamos que si quiere que intentemos poner un entorno para poder recuperar un backup, por favor, escriba a soporte@gigas.com indicando el servidor que requiere que se restaure un backup y los datos necesarios para que el equipo técnico se ponga manos a la obra.
Gracias
Dpto. de Soporte de Gigas
-------------------------------------------------------------------------------------------------
UPDATE 11/12/2023 - 20:50 (CET)
Estimados clientes,
Continuamos trabajando en la resolución de la incidencia pero le recomendamos que si quiere que intentemos poner un entorno para poder recuperar un backup, por favor, escriba a soporte@gigas.com indicando el servidor que requiere que se restaure un backup y los datos necesarios para que el equipo técnico se ponga manos a la obra.
Gracias
Dpto. de Soporte de Gigas
-------------------------------------------------------------------------------------------------
11/12/2023 - 13:10 (CET)
Estimados clientes,
Continuamos trabajando en la resolución de este incidente, junto con el proveedor, quedando abiertos a cualquier posible alternativa que podamos poner a disposición de todos nuestros clientes.
Lamentamos sinceramente cualquier inconveniente que esto pueda estar causando y les informaremos con la razón de la incidencia una vez solucionada y estudiada con el proveedor.
Atentamente,
Gigas Hosting
-------------------------------------------------------------------------------------------------
11/12/2023 - 10:10 (CET)
Estimados clientes,
Queremos informarles que desde las 13:30 del día 10/12/2023, estamos experimentando problemas en nuestra plataforma y estamos trabajando junto a los proveedores para solucionar esta incidencia lo antes posible. Lamentablemente, seguimos sin disponer de un estimado preciso del tiempo necesario para resolver completamente la situación.
Lamentamos sinceramente cualquier inconveniente que esto pueda estar causando y les informaremos con la razón de la incidencia una vez solucionada y estudiada con el proveedor.
Atentamente,
-------------------------------------------------------------------------------------------------
11/12/2023 - 10:10 (CET)
Dear customers,
We want to inform you that since 13:30 on 10/12/2023, we have been experiencing issues on our platform, and we are actively working with our providers to resolve this incident as soon as possible. Unfortunately, we still do not have an accurate estimate of the time required to fully resolve the situation.
We sincerely apologize for any inconvenience this may be causing, and we will provide you with the reason for the incident once it is resolved and thoroughly examined with the provider.
Best regards,
-------------------------------------------------------------------------------------------------
UPDATE 11/12/2023 07:10 (CET)
Estimados clientes.
Seguimos trabajando en la resolución de esta incidencia. Nuestros ingenieros están trabajando mano a mano con los fabricantes y estamos cada vez más cerca.
Lamentamos no poder darle un plazo estimado que, en cuanto tengamos más datos no dudadremos en facilitárselo.
Seguiremos dando update por esta vía
================================================================================================================================================
UPDATE 11/12/2023 04:42 (CET)
Estimados clientes.
Seguimos trabajando en la resolución de esta incidencia. Nuestros ingenieros están trabajando mano a mano con los fabricantes y estamos cada vez más cerca.
Lamentamos no poder darle un plazo estimado que, en cuanto tengamos más datos no dudadremos en facilitárselo.
Seguiremos dando update por esta vía
================================================================================================================================================
UPDATE 11/12/2023 02:15 (CET)
Seguimos trabajando reconfiguraciones pertinentes, las cuales son complejas porque, debido al efecto cascada, hay que realizar configuraciones desde los sistemas más bajos.
No tenemos estimado estimado de solución, toda novedad la publicamos aquí, pedimos disculpas por la situación.
Seguiremos dando update por esta vía
================================================================================================================================================
UPDATE 10/12/2023 23:42 (CET)
Detectamos un incidente en la infraestructura que estaba provocando un efecto cascada a nivel de sistemas. Tras conseguir determinar la causa raíz, un dispositivo físico estaba generando los incidentes. Se ha solicitado repuesto al fabricante y el equipo técnico ya lo ha recibido, está realizando las reconfiguraciones pertinentes, las cuales son complejas porque, debido al efecto cascada, hay que realizar configuraciones desde los sistemas más bajos
No tenemos estimado estimado de solución, toda novedad la publicamos aquí, pedimos disculpas por la situación.
Seguiremos dando update por esta vía
================================================================================================================================================
UPDATE 10/12/2023 22:00 (CET)
Lamentamos informar que aún estamos experimentando inestabilidad en algunos de nuestros servicios, Hemos detectado un incidente en un dispositivo físico , se ha solicitado repuesto al fabricante.
Seguiremos informando por esta vía.
================================================================================================================================================
UPDATE 10/12/2023 20:22 (CET)
Estimados clientes.
Informar que seguimos con la incidencia, intentando resolverla. Todos los ingenieros están trabajando para conseguir la resolución tras la identificación del incidente y la gestión con el fabricante y esperamos que en breve podamos darla por resuelta.
Seguiremos informando por esta vía
================================================================================================================================================
UPDATE 18:50 (CET) 10/12/2023
Estimados clientes,
Queremos informarles que hemos identificado un problema en nuestra infraestructura que ha afectado a una parte de nuestros servicios. En respuesta, estamos procediendo a levantar algunos los servicios afectados. Sin embargo, en este momento, no disponemos de un tiempo estimado de resolución.
Queremos tranquilizarles al decirles que nuestros ingenieros están trabajando diligentemente para abordar y resolver este problema lo más rápido posible. Estamos comprometidos a mantenerles informados sobre cualquier desarrollo y proporcionaremos actualizaciones tan pronto como tengamos más información sobre el tiempo de resolución.
Lamentamos los inconvenientes que esta situación pueda estar causando y agradecemos su comprensión y paciencia mientras trabajamos para restablecer completamente nuestros servicios.
(English Version)
Dear customers,
We want to inform you that we have identified an issue in our infrastructure that has affected a portion of our services. In response, we are proceeding to bring up the affected services. However, at this time, we do not have an estimated time for resolution.
We want to reassure you that our engineers are working diligently to address and resolve this issue as quickly as possible. We are committed to keeping you informed of any developments and will provide updates as soon as we have more information on the resolution time.
We apologize for any inconvenience this situation may be causing and appreciate your understanding and patience as we work to fully restore our services.
-------------------------------------------------------------------------------------------------
10/12/2023 - 13:35 (CET)
Estimados clientes,
Queremos informarles que desde las 13:30 estamos experimentando problemas en nuestra plataforma que han afectado algunos de sus servicios. Nuestro equipo técnico ha estado trabajando diligentemente para abordar y resolver estos problemas, y hemos estado levantando servicios gradualmente para minimizar las interrupciones.
En este momento, no disponemos de un estimado preciso del tiempo necesario para resolver completamente la situación. Sin embargo, queremos asegurarles que estamos dedicando todos nuestros recursos para solucionar estos problemas lo más rápido posible.
Para mantenerlos actualizados de manera transparente, estaremos proporcionando información adicional a través de este tablero. Agradecemos su comprensión y paciencia mientras trabajamos para restaurar completamente nuestros servicios.
Lamentamos sinceramente cualquier inconveniente que esto pueda estar causando y estamos comprometidos a resolver la situación de manera expedita.
Atentamente,