...
Carga de datos - Fuentes externas
La incorporación de publicaciones de fuentes externas tiene 2 pasos:
- Obtención de los datos de fuentes externas de publicaciones científicas.
- Carga de datos de fuentes externas.
Obtención de los datos de fuentes externas de publicaciones científicas
Se obtienen los datos de tres fuentes principales: WoS, Scopus y OpenAire. Se ha dado prioridad en dicho orden, ya que consideramos que WoS es más fiable que Scopus, y a su vez, Scopus de OpenAire. ; en ese orden de prioridad. Según el análisis de fuentes externas realizado para el proyecto, WoS es una fuente más completa y con un API más usable que Scopus. OpenAire es un catálogo libre que puede tener otros tipos de publicaciones y, en ocasiones, información adicional de cada publicación.
Se han desarrollado un conjunto de microservicios para cada una de las fuentes externasPara cada una de las fuentes, se ha creado un microservicio encargado de hacer la tarea. Estos servicios van a hacer las peticiones al endpoint correspondiente mediante el código ORCID del usuario para traer toda la información disponible. En el caso de que falten publicaciones o algún dato, el investigador tendría que ir a la fuente y modificarlo allí. Para una información más detallada, visitar el repositorio de GitHub: https://github.com/HerculesCRUE/HerculesED/tree/main/src/Hercules.ED.ExternalSources
Si una misma publicación llega de diversas fuentes, se unifica la información de los autores como y la de las publicaciones. Es decir, si se encuentra dos o varios más publicaciones con el mismo identificador, se rellenarán los datos faltantes. En el caso que haya datos distintos en un mismo campo, se dará prioridad al orden establecido explicado en el párrafo anteriorindicado anteriormente (WoS, Scopus, OpenAire).
Para la obtención de la bibliografía utilizada en una publicación se hace uso del API ofrecida por SemanticScholar (como fuente secundaria). Se pregunta por el DOI de la publicación, y si tiene información, nos la devuelve de la siguiente forma:
...
A su vez, se comprueba en Zenodo (mediante DOI) si hay algún recurso de tipo pdf. En el caso de encontrar alguno, traerá el enlace de descarga.
Posteriormente, se enriquece enriquecen los descriptores temáticos y específicos de la publicación en cuestión, con la finalidad de ofrecer más información al usuario.
Una vez obtenida toda la información, se guarda en formato JSON y se le envía al programa de carga.
Carga de datos de fuentes externas
Para los datos de fuentes externas se diferencia entre publicaciones, research objects (ro) y personas. El proceso de carga leerá los datos de los JSON recibidos y tratará los datos incluidos en el mismo.
Para que algún recurso cargado se pueda llegar a considerar igual a otro, y por ello modificar el almacenado, se siguen diversos criterios para diferenciarlos. En el caso de que se consideren iguales en la desambiguación se cargarán los datos del último, los datos recibidos en el JSON, cambiando los almacenados en base de datos (BBDDver más abajo el proceso de desambiguación de los objetos, en el aparatado de Deduplicación).
Se diferencian los valores comprobados entre cada recurso:
...
Personas |
|
|
|
|---|---|---|---|
Propiedad | Tipodesambiguación | Score positivo | Score negativo |
Nombre Completo | Nombres | 1 |
|
ORCID | Identifier |
|
|
Identificador FigShare | Identifier |
|
|
Identificador GitHub | Identifier |
|
|
Identificador Zenodo | Identifier |
|
|
Coautores | ItemList | 0.5 |
|
Documentos | ItemList | 0.5 |
|
Organizacion | ItemList | 0.5 |
|
Departamento | ItemList | 0.5 |
|
Grupos | ItemList | 0.5 |
|
Proyectos | ItemList | 0.5 |
|
...
Carga de datos - CV
Se obtiene por medio del A partir de un CV en formato PDF, -CVN se obtiene un XML con el cual trabajar, siguiendo la norma los datos del personal investigador. Tanto el PDF-CVN como el archivo XML siguen la norma CVN de FECYT.
El servicio ofrecido por el FECYT para transformar el formato PDF de los CV a XML es el siguiente: https://integraciones.cvnet.es/cvn2RootBean_v1_4_3/services/Cvn2RootBean?wsdl
Del fichero XML se extraen los datos de los diferentes apartados ítems del CV de la persona y se almacenan en BBDD. En el caso de que se encuentren datos en el XML y en BBDD que sean iguales, si no están validados se actualizará el recurso el grafo. Si los datos del XML coincidieran con los existentes tras los 2 pasos anteriores, se actuaría del siguiente modo, según estén o no validados los datos previos:
- No validados: Se actualizaría el ítem con los datos recibidos del XML,
...
- Validados: Se priorizarían los datos previos.
Para la desambiguación de los datos, se compararán en cada recurso ítem diferentes atributos del mismo, para comprobar si presentan la suficiente semejanza para considerarlos iguales el recibido como para considerar que los recibidos en el XML y los almacenados previamente en BBDD son iguales.
Deduplicación
Ancla CargaInicial_Deduplicacion CargaInicial_Deduplicacion
El proceso de deduplicación de datos actúa sobre los datos recuperados de los documentos y los pertenecientes a base de datos (BBDD)existentes en BBDD, comparando las similitudes entre ellos para posteriormente actualizar los datos actualizarlos o descartarlos y limitar la inserción de datos duplicados.
Este apartado describe la versión actual de la deduplicación automática para la carga inicial.
Para ello se le asignan asigna una valoración mínima a superar (“score”), usualmente 0.8 sobre 1, entre los datos almacenados y los nuevos sobre los que trabajamos. Determinados atributos de los objetos tendrán un “score” positivo para que, si son el mismo sumar “score” y algunos de ellos , sumen “score”; mientras que otros pueden tener un “score” negativo, que restará después de sumar todos los “score” positivos el peso marcado.
...
- Score 0.9 - (0.9 * 0.5) = 0.45
Algunos atributos los cuales que comprenden listados, como grupos de autores u otros conjuntos, se tratarán como un bloque común, en el sentido de que si no son todos iguales se considerará el conjunto entero como distinto.
...