...

Se ha creado un dataset que incluye descripciones de proyectos de código enlazados con los correspondientes descriptores temáticos (21) a partir de sourceforge.net. En un primer paso, se han descargado los nombres de los proyectos alojados en sourceforge mediante scraping a partir del directorio https://sourceforge.net/directory. Posteriormente, se han obtenido los metadatos (que incluyen los descriptores temáticos) de cada nombre utilizando el API sourceforge.net/projects/codeblocks.). Se muestra, a continuación, las estadísticas para los descriptores de primer nivel:

...

ASJC de Scopus y arXiv utilizan descriptores diferentes en sus clasificaciones, por lo que ha sido necesario hacer una fusión entre los dos sistemas de clasificación. También se ha realizado el mismo proceso de integración con los descriptores de la clasificación MESH de PubMed que cuelgan de la entrada “Medicine”, dado que investigadores consultados en dicho dominio así lo han sugerido. Por lo tanto, la taxonomía fusionada es la resultante de la única aproximación factible encontrada. La taxonomía resultante tiene tres niveles de granularidad:

• Nivel 1 (L1): 27 5 descriptores
• Nivel 2 (L2): 392 27 descriptores
• Nivel 3 (L3): 167 344 descriptores

Tabla 3. Dataset de papers (nivel 1 de granularidadL2=27 descriptores).

Entrenamiento y evaluación de clasificadores multi-etiqueta para identificación de descriptores temáticos

...

Tabla 4: Resultados para bioprotocolos (13 descriptores).

Tabla 5: Resultados para proyectos de código (21 descriptores).

...

Tabla 7: Resultados para extracción de descriptores específicos sobre papers (dataset Krapivin). Métrica de evaluación, recall at X.

Próximos trabajos:

Tabla 1: Resultados (Precision at 5) para rankings de paper similares

Se listan, a continuación, los próximos trabajos a abordar (aspectos comentados en la reunión de presentación del sprint):

• Evaluación de representación textual basada en selección de descriptores y uso de grafos.
• Evaluación translingüe.
• Evaluación de protocolos y proyectos de código.
• Experimentación sobre selección de descriptores relevantes a relación de similitud:
• Enfoque 1: Intersección de descriptores de textos A y B.
Enfoque 2: Descriptores más cercanos al embedding promedio de textos A y B
• Integración Evaluación de descriptores específicos sobre proyectos de código, e integración de matching (enlazado de entidades) en el proceso de extracción de descriptores específicos. Ver apartado de Matching en Flujo e interfaces del enriquecimiento. Descriptores y Matching.

Enriquecimiento. Identificación de ROs similares

Experimentos y resultados

Se han creado los siguientes datasets a partir de los datasets descritos en el anterior capítulo:

• Papers: 300.000 abstracts.
• Protocolos: 3.489 protocolos.
• Proyectos código: 57.687 fichas.

La evaluación de los diferentes sistemas estudiados ha consistido en analizar manualmente los rankings de documentos similares devueltos por cada sistema para un grupo de 20 documentos test determinado inicialmente para cada tipo de RO (papers, protocolos, proyectos de código). Se han anotado manualmente los cinco documentos más similares de cada ranking determinando si son similares o no, para así calcular la precisión en ese corte.

Para la extracción de los rankings de documentos similares, a partir de los datasets, para cada documento test, se han analizado dos enfoques.

1. Similitud basada en representación Bag-of-Words, ponderación tf-idf, y distancia coseno:
• Filtrado de vocabulario muy frecuente (> 10% docs) y poco frecuente (df<4).
2. Similitud basada en representación densa (embeddings) y ajustada a la tarea STS (Semantic Text Similarity), y distancia coseno:
• Embeddings estimados por Bi-encoders neuronales basados en BERT y ajustados a tarea STS con más de 1000 M de tuplas de ejemplos.

Se muestran en la siguiente tabla los resultados obtenidos:

...

BoW

...

Bi-encoder MiniLM

...

P@5

...

0.55

...

0.93

• .