tEn esta página se pretende identificar los distintos tipos de log que podemos encontrar en los index-pattern de cada aplicación FundeWebJS en LAGAR, así como describir cada campo para poder conocer en profundidad la estructura de dichos logs.

Además, se enumerará el listado de objetos predeterminados (consultas, visualizaciones y paneles) que se proporciona desde MNCS cuando se realiza el alta de la aplicación en LAGAR.

Por último se explicará cómo loggear en nuestro backend java para que aparezcan en LAGAR automáticamente nuevos campos por los que poder consultar y filtrar de manera más ágil y eficiente.

1. Descripción de LOGS

Lo primero que hay que mencionar a la hora de hablar de los logs en FundeWebJS es que nuestras aplicaciones pueden tener parte front en VUE (servicio UI) y parte backend en Java/Spring Boot (servicio API).
Esto implica que tenemos dos servidores web diferentes (uno para la parte UI y otro para API) que están mandando logs al mismo index-pattern de nuestra aplicacion en LAGAR.

Un index-pattern en LAGAR es la colección de todos los índices de nuestra aplicación en un mismo entorno. Por ejemplo, si tenemos un index-pattern k8s-consultaexp-ns-desa@*, este index-pattern contendrá todos los logs de la aplicación "Consulta de Expedientes" en el entorno de desarrollo.

Dicho esto, podemos distinguir los siguientes tipos de log.

Tipos de LOGS:


  • Logs de peticiones HTTP (Accesslog). El típico log access de apache que podemos encontrar en nuestras aplicaciones FundeWeb normales. Por ejemplo: Fichero accesslog de Portalfundeweb.


    155.54.228.21 - - [07/Jun/2021:17:32:55 +0000] "GET /consultaexpedientes/rest/v1.0/private/titulaciones/XXXXXXX HTTP/1.1" 200 769 "https://micampusdesa.um.es/consulta/expedienteacademico/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36" "155.54.67.188" 340


  • Logs del backend Java/Spring-Boot (Log4j2).  El log java habitual de nuestros servicios en la parte API, configurados como se indica en la página: 12. Logs en Spring Boot.
    Pensando en su equivalente FundeWeb, el habitual fichero log application de nuestra aplicación. 


    {
	"line_number": 377,
	"class": "es.um.atica.consultaexpedientesbackend.rest.RestExpedientes",
	"@version": 1,
	"source_host": "consultaexp-api-deployment-desa-5499587c9f-kx8gs",
	"message": " ############################################### titulaciones: XXXXXXX",
	"thread_name": "http-nio-8080-exec-10",
	"_@timestamp": "2021-06-07T17:32:54.983+00:00",
	"level": "INFO",
	"file": "RestExpedientes.java",
	"method": "getTitulaciones",
	"logger_name": "es.um.atica.consultaexpedientesbackend.rest.RestExpedientes"
}


Tanto UI como API mandan a LAGAR logs de tipo Accesslog. 

Solo API manda a LAGAR logs de tipo Log4j2.

-"Vale, pero ¿cómo se yo de qué tipo es cada log de forma rápida?"

En cada registro de LAGAR para aplicaciones FundeWebJS tenemos dos campos que nos indicarán rápidamente el tipo de log con el que estamos trabajando:

  • kubernetes.log.type:  Tiene los valores:
    • kube_apli            => El log es de tipo Log4j2 (backend java)
    • kube_acces_log => El log es una petición HTTP (acesslog)

  • kubernetes.container_name: Tiene los valores:
    • api => El log proviene del servicio API
    • ui   => El log proviene del servicio UI

Con la combinación de estos campos podemos saber el tipo de log y el servicio que lo está generando.

Ejemplo: "Quiero ver todos los logs de mi servicio en el backend java"
                => Desde LAGAR - Discover, seleccionamos nuestro index-pattern y establecemos el filtro  kubernetes.log.type: kube_apli.

Ejemplo 2: "Quiero ver todos los logs de peticiones HTTP al front VUE"
                 => Desde LAGAR - Discover, seleccionamos nuestro index-pattern y establecemos los filtros kubernetes.log.type: kube_acces_log  y kubernetes.container_name: ui.

Desde MNCS se proporcionan varias consultas guardadas donde están configurados filtros sobre estos campos. Se mostrarán en el apartado 2 de esta página.

-"Vale, pero cada log tiene mucha información ¿cómo sé yo a qué corresponde cada campo?"

Efectivamente, los logs de aplicaciones FundeWebJS se almacenan en LAGAR como un gran documento JSON.
Este JSON contiene, de forma encapsulada, el log de la aplicación/accesslog, los metadatos de Kubernetes y los metadatos de Elastic.


Esta es la estructura desglosada de cada evento de log en LAGAR según su tipo:

{
  "_index": "k8s-consultaexp-ns-desa@2021.23",
  "_type": "_doc",
  "_id": "MvlS7HkBt6ITkvetuPXP",
  "_version": 1,
  "_score": null,
  "_source": {
    "source": {
      "ip": "155.54.67.188"
    },
    "user": {
      "email": "-"
    },
    "time": "2021-06-08T15:51:53.627305882Z",
    "kubernetes": {
      "labels": {
        "author": "campusvirtual",
        "app": "api",
        "pod-template-hash": "5499587c9f"
      },
      "namespace_name": "consultaexp-ns-desa",
      "host": "155.54.228.21",
      "docker_id": "ebf5e81608c2d6b3bd25f16c81b9931ac6810595086c6ea1e9fbf880cf74d5d2",
      "pod_id": "48733f4e-9f95-40ae-a560-373154829bc8",
      "log": {
        "type": "kube_acces_log"
      },
      "container_name": "api",
      "annotations": {
        "cni.projectcalico.org/podIP": "10.42.148.90/32",
        "field.cattle.io/ports": "[[{\"containerPort\":8080,\"dnsName\":\"consultaexp-api-deployment-desa\",\"kind\":\"ClusterIP\",\"name\":\"8080tcp2\",\"protocol\":\"TCP\"}]]",
        "cattle.io/timestamp": "2021-02-04T12:09:09Z",
        "cni.projectcalico.org/podIPs": "10.42.148.90/32",
        "field.cattle.io/publicEndpoints": "[{\"addresses\":[\"155.54.228.21\",\"155.54.228.22\",\"155.54.228.23\"],\"hostname\":\"micampusdesa.um.es\",\"ingressId\":\"consultaexp-ns-desa:consultaexp-api-ingress-desa\",\"path\":\"/consulta/expedienteacademico\",\"port\":80,\"protocol\":\"HTTP\",\"serviceId\":\"consultaexp-ns-desa:consultaexp-api-service-desa\"}]"
      },
      "container_hash": "registry.um.es:443/mncs/consulta-expedientes-api@sha256:53d5dc41868a6dc36523c8c75d0ae9372b2c4d38729256ac0ce0d96348a7acd8",
      "container_image": "registry.um.es:443/mncs/consulta-expedientes-api:0.0.540570",
      "pod_name": "consultaexp-api-deployment-desa-5499587c9f-kx8gs"
    },
    "http": {
      "access": {
        "time": "08/Jun/2021:15:51:53 +0000"
      },
      "response": {
        "status_code": "200",
        "body": {
          "bytes": "769",
          "delay": "292"
        }
      },
      "request": {
        "method": "GET",
        "referer": "https://micampusdesa.um.es/consulta/expedienteacademico/"
      },
      "user_agent": {
        "original": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36"
      },
      "version": "1.1"
    },
    "@timestamp": "2021-06-08T15:51:53.000Z",
    "log": "10.42.49.192 - - [08/Jun/2021:15:51:53 +0000] \"GET /consultaexpedientes/rest/v1.0/private/titulaciones/XXXXXX HTTP/1.1\" 200 769 \"https://micampusdesa.um.es/consulta/expedienteacademico/\" \"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36\" \"155.54.67.188\" 292\n",
    "message": "{\"_@timestamp\":1623167513.627306,\"log\":\"10.42.49.192 - - [08/Jun/2021:15:51:53 +0000] \\\"GET /consultaexpedientes/rest/v1.0/private/titulaciones/23274740 HTTP/1.1\\\" 200 769 \\\"https://micampusdesa.um.es/consulta/expedienteacademico/\\\" \\\"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.77 Safari/537.36\\\" \\\"155.54.67.188\\\" 292\\n\",\"stream\":\"stdout\",\"time\":\"2021-06-08T15:51:53.627305882Z\",\"kubernetes\":{\"pod_name\":\"consultaexp-api-deployment-desa-5499587c9f-kx8gs\",\"namespace_name\":\"consultaexp-ns-desa\",\"pod_id\":\"48733f4e-9f95-40ae-a560-373154829bc8\",\"labels\":{\"app\":\"api\",\"author\":\"campusvirtual\",\"pod-template-hash\":\"5499587c9f\"},\"annotations\":{\"cattle.io/timestamp\":\"2021-02-04T12:09:09Z\",\"cni.projectcalico.org/podIP\":\"10.42.148.90/32\",\"cni.projectcalico.org/podIPs\":\"10.42.148.90/32\",\"field.cattle.io/ports\":\"[[{\\\"containerPort\\\":8080,\\\"dnsName\\\":\\\"consultaexp-api-deployment-desa\\\",\\\"kind\\\":\\\"ClusterIP\\\",\\\"name\\\":\\\"8080tcp2\\\",\\\"protocol\\\":\\\"TCP\\\"}]]\",\"field.cattle.io/publicEndpoints\":\"[{\\\"addresses\\\":[\\\"155.54.228.21\\\",\\\"155.54.228.22\\\",\\\"155.54.228.23\\\"],\\\"hostname\\\":\\\"micampusdesa.um.es\\\",\\\"ingressId\\\":\\\"consultaexp-ns-desa:consultaexp-api-ingress-desa\\\",\\\"path\\\":\\\"/consulta/expedienteacademico\\\",\\\"port\\\":80,\\\"protocol\\\":\\\"HTTP\\\",\\\"serviceId\\\":\\\"consultaexp-ns-desa:consultaexp-api-service-desa\\\"}]\"},\"host\":\"155.54.228.21\",\"container_name\":\"api\",\"docker_id\":\"ebf5e81608c2d6b3bd25f16c81b9931ac6810595086c6ea1e9fbf880cf74d5d2\",\"container_hash\":\"registry.um.es:443/mncs/consulta-expedientes-api@sha256:53d5dc41868a6dc36523c8c75d0ae9372b2c4d38729256ac0ce0d96348a7acd8\",\"container_image\":\"registry.um.es:443/mncs/consulta-expedientes-api:0.0.540570\"}}",
    "stream": "stdout",
    "@version": "1",
    "url": {
      "path": "/consultaexpedientes/rest/v1.0/private/titulaciones/XXXXXX"
    },
    "geoip": {
      "country_code3": "ES",
      "ip": "155.54.67.188",
      "timezone": "Europe/Madrid",
      "latitude": 37.987,
      "region_name": "Murcia",
      "country_name": "Spain",
      "location": {
        "lon": -1.13,
        "lat": 37.987
      },
      "country_code2": "ES",
      "city_name": "Murcia",
      "postal_code": "30001",
      "longitude": -1.13,
      "region_code": "MU",
      "continent_code": "EU"
    },
    "cluster": {
      "ip": "10.42.49.192"
    }
  },
  "fields": {
    "@timestamp": [
      "2021-06-08T15:51:53.000Z"
    ],
    "kubernetes.annotations.cattle.io/timestamp": [
      "2021-02-04T12:09:09.000Z"
    ],
    "time": [
      "2021-06-08T15:51:53.627Z"
    ]
  },
  "highlight": {
    "kubernetes.log.type.keyword": [
      "@kibana-highlighted-field@kube_acces_log@/kibana-highlighted-field@"
    ]
  },
  "sort": [
    1623167513000
  ]
}


{
  "_index": "k8s-consultaexp-ns-desa@2021.23",
  "_type": "_doc",
  "_id": "wBBS7HkBrJTgiCWTs8ib",
  "_version": 1,
  "_score": null,
  "_source": {
    "tags": [
      "_grokparsefailure",
      "_geoip_lookup_failure"
    ],
    "@version": "1",
    "time": "2021-06-08T15:51:53.335846939Z",
    "kubernetes": {
      "labels": {
        "author": "campusvirtual",
        "app": "api",
        "pod-template-hash": "5499587c9f"
      },
      "namespace_name": "consultaexp-ns-desa",
      "host": "155.54.228.21",
      "docker_id": "ebf5e81608c2d6b3bd25f16c81b9931ac6810595086c6ea1e9fbf880cf74d5d2",
      "pod_id": "48733f4e-9f95-40ae-a560-373154829bc8",
      "log": {
        "type": "kube_apli"
      },
      "container_name": "api",
      "annotations": {
        "cni.projectcalico.org/podIP": "10.42.148.90/32",
        "field.cattle.io/ports": "[[{\"containerPort\":8080,\"dnsName\":\"consultaexp-api-deployment-desa\",\"kind\":\"ClusterIP\",\"name\":\"8080tcp2\",\"protocol\":\"TCP\"}]]",
        "cattle.io/timestamp": "2021-02-04T12:09:09Z",
        "cni.projectcalico.org/podIPs": "10.42.148.90/32",
        "field.cattle.io/publicEndpoints": "[{\"addresses\":[\"155.54.228.21\",\"155.54.228.22\",\"155.54.228.23\"],\"hostname\":\"micampusdesa.um.es\",\"ingressId\":\"consultaexp-ns-desa:consultaexp-api-ingress-desa\",\"path\":\"/consulta/expedienteacademico\",\"port\":80,\"protocol\":\"HTTP\",\"serviceId\":\"consultaexp-ns-desa:consultaexp-api-service-desa\"}]"
      },
      "container_hash": "registry.um.es:443/mncs/consulta-expedientes-api@sha256:53d5dc41868a6dc36523c8c75d0ae9372b2c4d38729256ac0ce0d96348a7acd8",
      "container_image": "registry.um.es:443/mncs/consulta-expedientes-api:0.0.540570",
      "pod_name": "consultaexp-api-deployment-desa-5499587c9f-kx8gs"
    },
    "@timestamp": "2021-06-08T15:51:53.335Z",
    "log": "{\"line_number\":377,\"class\":\"es.um.atica.consultaexpedientesbackend.rest.RestExpedientes\",\"@version\":1,\"source_host\":\"consultaexp-api-deployment-desa-5499587c9f-kx8gs\",\"message\":\" ############################################### titulaciones: XXXXX\",\"thread_name\":\"http-nio-8080-exec-6\",\"_@timestamp\":\"2021-06-08T15:51:53.335+00:00\",\"level\":\"INFO\",\"file\":\"RestExpedientes.java\",\"method\":\"getTitulaciones\",\"logger_name\":\"es.um.atica.consultaexpedientesbackend.rest.RestExpedientes\"}\n",
    "log_processed": {
      "class": "es.um.atica.consultaexpedientesbackend.rest.RestExpedientes",
      "level": "INFO",
      "_@timestamp": "2021-06-08T15:51:53.335+00:00",
      "message": " ############################################### titulaciones: XXXXX",
      "file": "RestExpedientes.java",
      "method": "getTitulaciones",
      "@version": 1,
      "logger_name": "es.um.atica.consultaexpedientesbackend.rest.RestExpedientes",
      "thread_name": "http-nio-8080-exec-6",
      "line_number": 377,
      "source_host": "consultaexp-api-deployment-desa-5499587c9f-kx8gs"
    },
    "message": "{\"_@timestamp\":1623167513.335847,\"log\":\"{\\\"line_number\\\":377,\\\"class\\\":\\\"es.um.atica.consultaexpedientesbackend.rest.RestExpedientes\\\",\\\"@version\\\":1,\\\"source_host\\\":\\\"consultaexp-api-deployment-desa-5499587c9f-kx8gs\\\",\\\"message\\\":\\\" ############################################### titulaciones: XXXXX\\\",\\\"thread_name\\\":\\\"http-nio-8080-exec-6\\\",\\\"_@timestamp\\\":\\\"2021-06-08T15:51:53.335+00:00\\\",\\\"level\\\":\\\"INFO\\\",\\\"file\\\":\\\"RestExpedientes.java\\\",\\\"method\\\":\\\"getTitulaciones\\\",\\\"logger_name\\\":\\\"es.um.atica.consultaexpedientesbackend.rest.RestExpedientes\\\"}\\n\",\"stream\":\"stdout\",\"time\":\"2021-06-08T15:51:53.335846939Z\",\"log_processed\":{\"line_number\":377,\"class\":\"es.um.atica.consultaexpedientesbackend.rest.RestExpedientes\",\"@version\":1,\"source_host\":\"consultaexp-api-deployment-desa-5499587c9f-kx8gs\",\"message\":\" ############################################### titulaciones: XXXXX\",\"thread_name\":\"http-nio-8080-exec-6\",\"_@timestamp\":\"2021-06-08T15:51:53.335+00:00\",\"level\":\"INFO\",\"file\":\"RestExpedientes.java\",\"method\":\"getTitulaciones\",\"logger_name\":\"es.um.atica.consultaexpedientesbackend.rest.RestExpedientes\"},\"kubernetes\":{\"pod_name\":\"consultaexp-api-deployment-desa-5499587c9f-kx8gs\",\"namespace_name\":\"consultaexp-ns-desa\",\"pod_id\":\"48733f4e-9f95-40ae-a560-373154829bc8\",\"labels\":{\"app\":\"api\",\"author\":\"campusvirtual\",\"pod-template-hash\":\"5499587c9f\"},\"annotations\":{\"cattle.io/timestamp\":\"2021-02-04T12:09:09Z\",\"cni.projectcalico.org/podIP\":\"10.42.148.90/32\",\"cni.projectcalico.org/podIPs\":\"10.42.148.90/32\",\"field.cattle.io/ports\":\"[[{\\\"containerPort\\\":8080,\\\"dnsName\\\":\\\"consultaexp-api-deployment-desa\\\",\\\"kind\\\":\\\"ClusterIP\\\",\\\"name\\\":\\\"8080tcp2\\\",\\\"protocol\\\":\\\"TCP\\\"}]]\",\"field.cattle.io/publicEndpoints\":\"[{\\\"addresses\\\":[\\\"155.54.228.21\\\",\\\"155.54.228.22\\\",\\\"155.54.228.23\\\"],\\\"hostname\\\":\\\"micampusdesa.um.es\\\",\\\"ingressId\\\":\\\"consultaexp-ns-desa:consultaexp-api-ingress-desa\\\",\\\"path\\\":\\\"/consulta/expedienteacademico\\\",\\\"port\\\":80,\\\"protocol\\\":\\\"HTTP\\\",\\\"serviceId\\\":\\\"consultaexp-ns-desa:consultaexp-api-service-desa\\\"}]\"},\"host\":\"155.54.228.21\",\"container_name\":\"api\",\"docker_id\":\"ebf5e81608c2d6b3bd25f16c81b9931ac6810595086c6ea1e9fbf880cf74d5d2\",\"container_hash\":\"registry.um.es:443/mncs/consulta-expedientes-api@sha256:53d5dc41868a6dc36523c8c75d0ae9372b2c4d38729256ac0ce0d96348a7acd8\",\"container_image\":\"registry.um.es:443/mncs/consulta-expedientes-api:0.0.540570\"}}",
    "stream": "stdout"
  },
  "fields": {
    "@timestamp": [
      "2021-06-08T15:51:53.335Z"
    ],
    "kubernetes.annotations.cattle.io/timestamp": [
      "2021-02-04T12:09:09.000Z"
    ],
    "time": [
      "2021-06-08T15:51:53.335Z"
    ],
    "log_processed._@timestamp": [
      "2021-06-08T15:51:53.335Z"
    ]
  },
  "highlight": {
    "kubernetes.log.type": [
      "@kibana-highlighted-field@kube_apli@/kibana-highlighted-field@"
    ],
    "kubernetes.container_name.keyword": [
      "@kibana-highlighted-field@api@/kibana-highlighted-field@"
    ]
  },
  "sort": [
    1623167513335
  ]
}


Y en la siguiente tabla de referencia podemos ver los distintos campos que nos encontramos en los eventos, su tipo, cuándo nos los podemos encontrar y qué información contienen:

CAMPOTIPO CAMPOTIPO LOGDESCRIPCIÓN

@timestamp

Metadato ElasticTodos(estrella verde) Fecha y hora del evento por el que se realizarán todos los filtros de fecha y ordenaciones.
@versionMetadato ElasticTodos(menos) Ignorar.

_id

Metadato ElasticTodos(menos) Id único del evento en elastic. Ignorar.
_indexMetadato ElasticTodos(menos) Índice concreto en el que se encuentra el evento. Ignorar.
_scoreMetadato ElasticTodos(menos) Ignorar.
_typeMetadato ElasticTodos(menos) Ignorar.
kubernetes.annotations.cattle.io/timestampMetadato KubernetesTodos(menos) Información sobre fecha de creación del servicio. Ignorar.
kubernetes.annotations.cni.projectcalico.org/podIPMetadato KubernetesTodos(menos) Información de red sobre los contenedores. Ignorar.
kubernetes.annotations.cni.projectcalico.org/podIPsMetadato KubernetesTodos(menos) Información de red sobre los contenedores. Ignorar.
kubernetes.annotations.field.cattle.io/portsMetadato KubernetesTodos(menos) Información de red sobre los contenedores. Ignorar.
kubernetes.annotations.field.cattle.io/publicEndpointsMetadato KubernetesTodos(menos) Información de red sobre los contenedores. Ignorar.
kubernetes.container_hashMetadato KubernetesTodos(bombilla) Hash de la imagen. 
kubernetes.container_imageMetadato KubernetesTodos(bombilla) Nombre de la imagen. 
kubernetes.container_nameMetadato KubernetesTodos(estrella verde) Nombre del contenedor/servicio.  (api o ui).
kubernetes.docker_idMetadato KubernetesTodos(menos) Información sobre el pod. Ignorar.
kubernetes.hostMetadato KubernetesTodos(bombilla) IP del servicio.
kubernetes.labels.appMetadato KubernetesTodos(bombilla) Etiqueta app configurada por Sistemas.
kubernetes.labels.authorMetadato KubernetesTodos(bombilla)Etiqueta author configurada por Sistemas.
kubernetes.labels.pod-template-hashMetadato KubernetesTodos(bombilla)Etiqueta pod-template-hash configurada por Sistemas.
kubernetes.log.typeMetadato KubernetesTodos(estrella verde) Tipo de Log según origen (kube_acces_log o kube_apli).
kubernetes.namespace_nameMetadato KubernetesTodos(bombilla) Nombre del namespace kubernetes ([aplicación]-ns-[entorno]).
kubernetes.pod_idMetadato KubernetesTodos(bombilla) Id del pod.
kubernetes.pod_nameMetadato KubernetesTodos(bombilla) Nombre del pod.
logCampo GeneralTodos

(estrella verde) Log real completo.
     Equivalente a una línea en un fichero de log application/access FundeWeb.
     Se extrae del campo message.
     Encapsula todos los campos log_processed.XX y http.XX.

log_processed.@versionLog4j2API

(menos) Campo versión que añade log4j2. Ignorar. 
     Extraído del campo log para eventos tipo log4j2.

log_processed._@timestampLog4j2API(bombilla) Timestamp de log4j2. Fecha y hora en la que se pinta el log en el backend.
     Extraído del campo log para eventos tipo log4j2.
log_processed.classLog4j2API(estrella verde) Clase donde se ha colocado el log. Incluye paquete.
     Extraído del campo log para eventos tipo log4j2.
log_processed.fileLog4j2API(estrella verde) Fichero .java donde se ha colocado el log.
     Extraído del campo log para eventos tipo log4j2.
log_processed.levelLog4j2API(estrella verde) NIVEL DE TRAZA (INFO, DEBUG, WARN, ERROR...).
     Extraído del campo log para eventos tipo log4j2.
log_processed.line_numberLog4j2API(estrella verde) Línea de de la clase java donde se ha colocado el log.
     Extraído del campo log para eventos tipo log4j2.
log_processed.logger_nameLog4j2API(menos) Nombre de logger log4j2. Ignorar.
     Extraído del campo log para eventos tipo log4j2.
log_processed.messageLog4j2API(estrella verde) Mensaje real que se está loggeando en el backend, es decir, la cadena que se pasa como
     parámetro al log.[level](message).
     Extraído del campo log para eventos tipo log4j2.
log_processed.methodLog4j2API(estrella verde) Método de la clase java donde se ha colocado el log.
     Extraído del campo log para eventos tipo log4j2.
log_processed.source_hostLog4j2API(bombilla) IP del servicio. Coincide con el campo kubernetes.host.
     Extraído del campo log para eventos tipo log4j2.
log_processed.thread_nameLog4j2 API(bombilla) Nombre del hilo de ejecución java.
     Extraído del campo log para eventos tipo log4j2.
log_processed.exception.exception_classLog4j2API(estrella verde) En caso de haberse producido una excepción en el backend, clase de la excepción.
     Por ejemplo: java.lang.IllegalArgumentException
log_processed.exception.exception_messageLog4j2API(estrella verde) En caso de haberse producido una excepción en el backend, mensaje de la excepción.
     Por ejemplo: JWT String argument cannot be null or empty.
log_processed.exception.stacktraceLog4j2API(estrella verde) En caso de haberse producido una excepción en el backend, traza completa.

messageCampo GeneralTodos

(menos)  Log completo enviado por kubernetes (fluentbit).
      Composición del campo log y de todos los metadatos Kubernetes.
      No merece la pena intentar leerlo salvo error en el parseo y construcción del resto de
      campos. 

cluster.ipAcesslogAPI+UI(bombilla) IP del Ingress frontal a todas las aplicaciones (pasarela con la red externa).
source.ipAcesslogAPI+UI(estrella verde) IP real del cliente que genera la petición a nuestra aplicación.
     Extraído del campo log para eventos tipo accesslog.
geoip.[CAMPO_X]AcesslogAPI+UI

(bombilla) Serie de campos con información de geolocalización generados por LAGAR a partir del     campo source.ip.
     Permite construir gráficas de tipo "mapa" para posicionar peticiones en un mapa terrestre.

http.access.timeAcesslogAPI+UI(bombilla) Fecha y hora de la petición.
     Extraído del campo log para eventos tipo accesslog.
http.request.methodAcesslogAPI+UI(estrella verde) Método HTTP de la petición (GET, POST, PUT...)
     Extraído del campo log para eventos tipo accesslog.
http.request.refererAcesslogAPI+UI(estrella verde) Cabecera referer. Página origen desde donde se generó la petición HTTP.
     Extraído del campo log para eventos tipo accesslog.
http.response.body.bytesAcesslogAPI+UI

(estrella verde) Tamaño en bytes de la respuesta HTTP.
     Extraído del campo log para eventos tipo accesslog.

http.response.body.delayAcesslogAPI

(estrella verde) Tiempo de procesado de la petición HTTP.
     Extraído del campo log para eventos tipo accesslog.

http.response.status_codeAcesslogAPI+UI(estrella verde) Código HTTP de la respuesta (200, 400, 500...)
     Extraído del campo log para eventos tipo accesslog.
http.user_agent.originalAcesslogAPI+UI(estrella verde) User agent. Información sobre el cliente que hizo la petición HTTP
    (Familia de navegador, información del sistema, plataforma, extensiones...)
     Extraído del campo log para eventos tipo accesslog.
http.versionAcesslogAPI+UI(bombilla) Versión HTTP.
url.pathAcesslogAPI+UI(estrella verde) Path solicitado en la petición HTTP. Mapping y query params del servicio en el backend.
user.emailAcesslogAPI+UI

(menos)  Usuario logueado (en Tomcat/Ngix mediante el cliente). 
      Siempre va a tener el valor "-". Ignorar.

streamMetadato ElasticTodos(menos)  Ignorar.
tagsMetadato ElasticTodos(bombilla)  Etiquetas del evento. Revisar en caso de que los campos no estén bien formados.
      Proporciona información sobre el parseo en Logstash.
timeMetadato ElasticTodos(menos)  Otro campo más de fecha/hora. Ignorar.
log_processed.mdc.[CAMPO_CUSTOM]Log4j2API

(estrella verde) Campo/s automático/s generado/s desde el backend.
     Extraído del campo log.
     Ver apartado 3 de esta página.

(estrella verde) Campo importante. (bombilla) Campo útil, interesante para generar determinadas gráficas. (menos) Campo con metainformación. Irrelevante para desarrollo en la mayoría de los casos.

2. Objetos predeterminados en LAGAR

En el proceso de alta de aplicaciones FundeWebJS, desde MNCS proporcionamos una serie de objetos en KIBANA (interfaz gráfica de LAGAR), con el fin de proporcionar una herramienta útil para la visualización de logs desde el primer momento, suavizar la curva de aprendizaje de la interfaz y servir de modelo en la creación de objetos propios.

Estos objetos en Kibana pueden ser de los siguientes tipos:

  • Consultas (Saved Searches) - Equivalente a los filtros de Jira.
  • Gráficas (Visualizations) - Equivalente a los gadgets de Jira.
  • Paneles de control (Dashboards) - Equivalente a los cuadros de mando de Jira.

Los objetos proporcionados para cada aplicación FundeWebJS son:

NOMBRE OBJETOTIPO OBJETOENTORNODESCRIPCIÓN
[XXXX][DESA] Accesslog API+UISearchDesarrolloConsulta preparada con filtros y columnas para visualizar las peticiones HTTP accesslog en API y UI de forma conjunta.
[XXXX][TEST] Accesslog API+UISearchPreproducciónConsulta preparada con filtros y columnas para visualizar las peticiones HTTP accesslog en API y UI de forma conjunta.
[XXXX] Accesslog API+UISearchProducciónConsulta preparada con filtros y columnas para visualizar las peticiones HTTP accesslog en API y UI de forma conjunta.
[XXXX][DESA] Logs applicationSearchDesarrolloConsulta preparada con filtros y columnas para visualizar los logs de nuestros servicios java en API.
[XXXX][TEST] Logs applicationSearchPreproducciónConsulta preparada con filtros y columnas para visualizar los logs de nuestros servicios java en API.
[XXXX] Logs applicationSearchProducciónConsulta preparada con filtros y columnas para visualizar los logs de nuestros servicios java en API.
[XXXX] Errores applicationSearchProducciónConsulta preparada con filtros y columnas para visualizar los logs con nivel de traza ERROR de nuestros servicios java en API.
[XXXX] Dashboard - KubernetesDashboardProducción

Panel para monitorizar eventos y visualizar gráficas de logs agrupadas por PODs e imagenes.
Útil para identificar si ha ocurrido algún problema (errores log4j o respuestas 400-500) en algún POD o imagen docker concretos.

[XXXX] Dashboard - ACCESSDashboardProducciónPanel para monitorizar peticiones HTTP a nuestra aplicación y visualizar gráficas agrupadas por códigos de respuesta HTTP, User-agents, paths más consultados, tamaños y retrasos acumulados en las respuestas, IPs que generan más peticiones y mapa para geolocalizarlas.
[XXXX] Dashboard - BACKENDDashboardProducciónPanel para monitorizar el estado del backend Java, resolución de incidencias y visualización de gráficas agrupadas por niveles de traza y clases java y visualización cómoda de trazas de excepción.


3. Añadir campos a LAGAR desde el backend JAVA

En este apartado se va a explicar el mecanismo de logging para crear campos en LAGAR de forma automática a partir de un ejemplo.

Supongamos que tenemos un parámetro muy usado en nuestros servicios, y que nos vendría bien tenerlo en LAGAR como campo para filtrar de forma ágil y realizar gráficas con agrupaciones por ese campo. Por ejemplo, el dni de un alumno, un correo, un token, etc.

Podemos crearnos una constante en nuestra clase del servicio:

private static final String MDC_DNI_ALUMNO = "dniAlumno";

Y luego en nuestros servicios hacer uso de la clase org.jboss.logging.MDC. 

Esta clase tiene dos métodos, put(key, value) y remove(key), que introducen pares clave-valor en un mapa de contexto que Log4j2 es capaz de leer.

Siguiendo con el ejemplo, podemos tener el siguiente servicio:

    /**
	 * Devuelve la lista de titulaciones correspondientes al dni
	 *
	 * @param dni
	 * @return List<AlumnoTitulacionDTO>
	 */
	@GetMapping( "/titulaciones/{dni}" )
	public ResponseEntity<List<AlumnoTitulacionDTO>> getTitulaciones( @PathVariable( required = true ) String dni ) {
		try {
			MDC.put( MDC_DNI_ALUMNO, dni );

			log.info( " Llamada a getTitulaciones" );
			final List<AlumnoTitulacionDTO> listaDto = new ArrayList<>();
			for ( final AlumnoTitulacion alumnoTitulacion : alumnoTitulacionRepository.findAllBySivaId( dni ) ) {
				listaDto.add( new AlumnoTitulacionDTO( alumnoTitulacion ) );
			}

			log.info( "Obtenidas {} titulaciones", listaDto.size() );
			return new ResponseEntity<>( listaDto, HttpStatus.OK );
		} catch ( final Exception e ) {
			log.error( e.getLocalizedMessage() );
			throw new ResponseStatusException( HttpStatus.INTERNAL_SERVER_ERROR, "Ocurrió un error inesperado", e );
		} finally {
			MDC.remove( MDC_DNI_ALUMNO );
		}
	}







Artículos Relacionados

Aquí aparecen artículos relacionados sobre la base de las etiquetas que usted seleccione. Haga clic para editar la macro y añadir o modificar las etiquetas.



Incidencias similares





















TIPOS DE LOGS EN LAGAR SEGÚN ORIGEN