🧨 SAPocalypsis Now Episodio 30

Esta historia combina hechos reales, ampliamente documentados en litigios públicos del sector ERP, con elementos completamente inventados para darle cuerpo narrativo: nombres de empresas, personajes, diálogos, escenas y detalles concretos de esta historia son ficticios. Cualquier similitud con personas, empresas o situaciones reales más allá de los hechos públicamente conocidos es pura coincidencia. Ni el nombre de la empresa cervecera ni el de la consultora aquí utilizados corresponden a los reales, y ningún diálogo reproducido aquí ocurrió tal cual se describe.

Como cada mañana sonó el despertador de Marta y como siempre la primera cosa que hacía era revisar como había ido la noche. Marta era la responsable del Centro de Soporte SAP Basis de una consultora llamada Sensus Consulting.

Lo que vio era que durante la noche el entorno de producción de Muebles SA, uno de los clientes más importantes, se había vuelto muy inestable. Había un volumen de dumps masivo de cancelaciones de jobs por problemas de conectividad, había muchísimos errores de sistema de que se habían agotado las colas RFC y de que todos los procesos de diálogo estaban ocupados y la mayoría en PRIV.

La situación con ese cliente llevaba meses bastante tensa, había habido quejas al servicio e incluso Muebles SA había contratado una consultora de la competencia para llevar redes e infraestructura con la amenaza de que podían reemplazar a Sensus completamente ya que ellos también ofrecían SAP Basis.

Por otro lado, el equipo no daba abasto a estabilizar el servicio ya que el cliente andaba haciendo grandes cambios con bastante frecuencia y sin ningún tipo de planificación ni a corto plazo. Nuevos entornos, migraciones, expansiones, refrescos pedidos de un viernes para un sábado, cargas masivas sin previo aviso... todo ello con un servicio infra dimensionado.

La falta de coordinación por su lado sumado a la desestimación de las recomendaciones de Marián y Marta en inversión para estabilizar eran la principal causa de su propio descontento con el servicio.

Además eran tremendamente ruidosos mostrando su descontento, y Marta ya estaba acostumbrada en cierta medida pero al revisar el correo esa mañana supo desde el primer momento que la cosa era seria y que tenía que ir directa para allá.

De camino para Muebles SA avisó al socio Juan Pedro y a la responsable de servicio Marián y acordaron que el técnico senior Daniel se quedara en la oficina con el apoyo en la sombra de todo el resto del equipo.

Todavía en el taxi, acordó con los compañeros de la oficina y del turno de noche que lo mejor que se podía hacer en aquél momento era un reinicio total del sistema. Lo propuso al cliente, Daniel se encargó de efectuarlo como tantas otras veces pero el reinicio no solucionó nada.

Marta llegó a las instalaciones poco más tarde de las 9 y antes de ni siquiera poderse conectar la metieron en una primera sala de crisis en la que estaba Manel el responsable SAP de Muebles SA.

Manel: -Marta, ¿Qué sabemos?

Marta: -Sabemos que el sistema se ha mostrado muy inestable desde esta mañana a las 7AM, hemos reiniciado a las 8:45 pero no se ha solucionado nada, observamos que si bien el servidor central arranca correctamente, las instancias de diálogo no conseguimos que conecten con la central, y la central no tiene capacidad para tirar. Ha cambiado algo de redes a las 7?

Manel: -No vamos a permitir que esto se convierta en una guerra entre vosotros y la otra consultora. ¿Algo más?

Marta: -Queremos una ventana de una hora de corte para investigar y reiniciar cuantas veces necesitemos hasta entender porqué no conectan las instancias de diálogo.

Manel: -Lo gestionamos. No habrá problema.

En ese momento llegó el CIO: -Vamos a la cantina que ahora no hay nadie. Os quiero a todos comidos y descansados para cuando nos den luz verdez

Mientras comían en la cantina invitados con ese envenenado pero pragmático pretexto, y trataban de mantener alguna conversación trivial para relajar el ambiente, Marián y Marta no podían dejar de pensar en qué narices podía estar pasando. El entorno de producción disponía de 8 servidores de aplicación, ninguno conectaba. Ya habían comprobado la conexión entre ellos, del servidor de aplicaciones a la central y viceversa. Todo era correcto. El ping devolvía el 100% de los paquetes. Marián pensó que quizá valga la pena hacer pruebas de niping, la herramienta de SAP para chequear la red, y ejecutar la hoja de tests que indica en una nota OSS que se encuentra fácilmente buscando por niping. Marta respondió que sí pero que sobretodo había que involucrar el soporte de SAP; retirar todos los logs y hacer un reinicio limpio con logs vacíos para adjuntarlos a un nuevo mensaje OSS que habría que abrir en Very High. En aquel momento llegaba el socio Juan Pedro con una sonrisa en la cara "¿Qué pasa? ¿Estáis de crisis y os váis a comer?". En paralelo, el CIO reservaba la sala más grande de todo el edificio y la contigua para seguir con la crisis. Los de SAP a la grande, los de redes e infraestructura en la de al lado. 

No nos querían juntos. Juan Pedro señaló la importancia de este hecho. "Saben algo que no nos quieren contar, sino no tendría sentido tenernos separados y tener que ir comunicando de una sala a otra lo que se va a hacer, lo que se hace y lo que no"

Luego el CIO se llevó a Juan Pedro a un rincón para presionarlo para que Daniel se viniera también. Juan Pedro cedió, a pesar de que eso implicaba perder la ayuda del resto del equipo, aunque sinceramente tampoco había habido muchas ideas y a esas alturas ya no era defendible. Marta le preguntó si le había contado qué han tocado esta mañana, y Juan Pedro le dijo que sí, que se lo había preguntado pero que solo habían tocado un tema de storage que de hecho ha fallado y lo deshicieron.

Ya instalados en la sala grande, llegó Daniel y la luz verde. Daniel, detuvo el sistema y limpió todas las trazas. Levantó BD, todo bien. Levantó CI, todo bien. Todos pudieron entrar al sistema, SM50 todo correcto, no hay dumps desde el último reinicio, nada en el system log. Todo bien. Al intentar arrancar uno de los servidores de aplicación, nada, el proceso de arranque muere por timeout. No pudo conectar. Daniel desactivó muchos parámetros de instancia y lo reintentó con el mismo éxito. También se hizo un reboot total de los hosts de las instancias de diálogo pero el resultado siempre era el mismo. Mientras recolectaba todos los logs para adjuntarlos al mensaje Very High, el CIO iba de una sala a otra y empezaba a mover hilos y a gritarle a un montón de gente de SAP para que alguien se pusiera a trabajar con ese mensaje. Daniel siguió con la preparación de la prueba de niping y tras todas las pruebas entre central y servidores de diálogo todo daba correcto. Adjuntó las pruebas al mensaje OSS. 

Los minutos iban pasando, y la hora de corte se agotaba, pero el CIO dijo que daba igual, que no se estaba prestando servicio igualmente. Se acababan las ideas, además, en aquella sala era prácticamente imposible no ya concentrarse sino simplemente mantener una conversación sin ser interrumpido por otra conversación. Había gente hablando por teléfono para gestionar la crisis de almacén, otros gestionando la crisis en las tiendas,... la idea era detener la demanda de conexión a SAP de las demás aplicaciones e integraciones. Se detuvo el SAP PI, el SAP BW, el SAP Data Services y otros sistemas demandantes del SAP ECC así como también se suspendieron jobs y bloquearon usuarios del SAP ECC.

Finalmente, el socio Juan Pedro, que era probablemente quién más años de Basis tenía de todos, sentado junto a Daniel, mencionó algo que a todos los presentes se les quedaría grabado para toda la vida:

"ping localhost"

¡No funcionaba! ¿Cómo era posible que un ping a localhost terminara en un Unknown host localhost"? Al mismo tiempo el CIO y el responsable SAP se levantaban de golpe y se metieron en la otra sala con cara de ir a matar a alguien. Cinco incómodos minutos más tarde, regresaron y dijeron cabizbajos "probad ahora". Daniel levantó uno de ellos y levantó a la primera. Sobraba preguntar... 
Pero entonces el CIO detuvo la euforia y pidió ejecutar un procedimiento de arranque escalonado. Ese arranque escalonado conllevó 3 horas más puesto que cada paso, cada almacén, se contactaba telefónicamente para confirmar que podían entrar y que todo estaba bien antes de pasar a desbloquear y abrir el siguiente, además de volver a levantar todas las aplicaciones e ir liberando los jobs poco a poco.

En el centro de soporte unos años atrás, alguien había creado y colgado un póster que ponía ¿Expediente X? Desactivar antivirus. Marta, cogió un rotulador y escribió debajo:

ping localhost.

Cuando la crisis es de todos, y nadie quiere admitir que la puede haber causado, la solución no está en el sistema que más se sabe monitorizar sino en el que menos se piensa mirar. Antes de sumergirte en SM50, en niping o en un mensaje Very High a soporte, hay una pregunta que cuesta un segundo hacer y que nadie hizo hasta la hora tres: ¿qué ha tocado el otro equipo hoy? La desconfianza entre proveedores no solo envenena la relación con el cliente. También alarga las crisis, porque cada uno investiga puertas adentro de su propio sistema mientras la respuesta está literalmente en la sala de al lado."