{rfName}
Ma

Indexado en

Licencia y uso

Icono OpenAccess

Citaciones

10

Altmetrics

Article has an altmetric score of 1

Grant support

This study is supported by the European Union's Horizon 2020 research and innovation program under Grant Agreement no 779963, project Eurobench.

Análisis de autorías institucional

Torres-Pardo, AAutor o CoautorPinto, DAutor o Coautor

Compartir

26 de septiembre de 2022
Publicaciones
>
Artículo
Sí

Making Bipedal Robot Experiments Reproducible and Comparable: The Eurobench Software Approach

Publicado en:Frontiers In Robotics And Ai. 9 951663- - 2022-01-01 9(), DOI: 10.3389/frobt.2022.951663

Autores: Remazeilles, A; Dominguez, A; Barralon, P; Torres-Pardo, A; Pinto, D; Aller, F; Mombaur, K; Conti, R; Saccares, L; Thorsteinsson, F; Prinsen, E; Canton, A; Castilla, J; Sanz-Morere, CB; Tornero, J; Torricelli, D

Afiliaciones

Basque Res & Technol Alliance BRTA, TECNALIA, San Sebastian, Spain - Autor o Coautor
CSIC, Neural Rehabil Grp, Cajal Inst, Madrid, Spain - Autor o Coautor
Heidelberg Univ, Inst Comp Engn, Optimizat Robot & Biomech, Heidelberg, Germany - Autor o Coautor
Hosp Los Madronos, Ctr Clin Neurosci, Madrid, Spain - Autor o Coautor
IUVO Srl, Pontedera, Italy - Autor o Coautor
Ossur Iceland ehf, Reykjavik, Iceland - Autor o Coautor
Univ Politecn Madrid, Madrid, Spain - Autor o Coautor
Univ Twente, Techmed Ctr, Dept Biomech Engn, Roessingh Res & Dev, Enschede, Netherlands - Autor o Coautor
Univ Waterloo, Dept Syst Design Engn, Dept Mech & Mechatron Engn, Waterloo, ON, Canada - Autor o Coautor
Ver más

Resumen

This study describes the software methodology designed for systematic benchmarking of bipedal systems through the computation of performance indicators from data collected during an experimentation stage. Under the umbrella of the European project Eurobench, we collected approximately 30 protocols with related testbeds and scoring algorithms, aiming at characterizing the performances of humanoids, exoskeletons, and/or prosthesis under different conditions. The main challenge addressed in this study concerns the standardization of the scoring process to permit a systematic benchmark of the experiments. The complexity of this process is mainly due to the lack of consistency in how to store and organize experimental data, how to define the input and output of benchmarking algorithms, and how to implement these algorithms. We propose a simple but efficient methodology for preparing scoring algorithms, to ensure reproducibility and replicability of results. This methodology mainly constrains the interface of the software and enables the engineer to develop his/her metric in his/her favorite language. Continuous integration and deployment tools are then used to verify the replicability of the software and to generate an executable instance independent of the language through dockerization. This article presents this methodology and points at all the metrics and documentation repositories designed with this policy in Eurobench. Applying this approach to other protocols and metrics would ease the reproduction, replication, and comparison of experiments.

Palabras clave

AlgorithmBenchmarkingExoskeletonExoskeletonsHumanoidPerformance indicatorReplicabilitySoftware

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista Frontiers In Robotics And Ai debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia Scopus (SJR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2022, se encontraba en la posición , consiguiendo con ello situarse como revista Q2 (Segundo Cuartil), en la categoría Computer Science Applications.

Desde una perspectiva relativa, y atendiendo al indicador del impacto normalizado calculado a partir del Field Citation Ratio (FCR) de la fuente Dimensions, arroja un valor de: 4.61, lo que indica que, de manera comparada con trabajos en la misma disciplina y en el mismo año de publicación, lo ubica como trabajo citado por encima de la media. (fuente consultada: Dimensions Jul 2025)

De manera concreta y atendiendo a las diferentes agencias de indexación, el trabajo ha acumulado, hasta la fecha 2025-07-22, el siguiente número de citas:

  • WoS: 1
  • Scopus: 5

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2025-07-22:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 14.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 13 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 1.
  • El número de menciones en la red social X (antes Twitter): 3 (Altmetric).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.

Análisis de liderazgo de los autores institucionales

Este trabajo se ha realizado con colaboración internacional, concretamente con investigadores de: Canada; Germany; Iceland; Italy; Netherlands.