{rfName}
Au

Indexado en

Licencia y uso

Icono OpenAccess

Citaciones

17

Altmetrics

Investigadores/as Institucionales

Rodríguez-Cantelar MAutor o CoautorEstecha-Garitagoitia MAutor o CoautorD’haro LfAutor (correspondencia)Matia FAutor o CoautorCordoba RAutor o Coautor

Compartir

4 de septiembre de 2023
Publicaciones
>
Artículo
Sí

Automatic Detection of Inconsistencies and Hierarchical Topic Classification for Open-Domain Chatbots

Publicado en: Applied Sciences-Basel. 13 (16): 9055- - 2023-08-01 13(16), DOI: 10.3390/app13169055

Autores:

Rodriguez-Cantelar, Mario; Estecha-Garitagoitia, Marcos; D'Haro, Luis Fernando; Matia, Fernando; Cordoba, Ricardo
[+]

Afiliaciones

Univ Politecn Madrid, Ctr Automat & Robot CAR UPM CSIC, Intelligent Control Grp ICG, C Jose Gutierrez Abascal 2, Madrid 28006, Spain - Autor o Coautor
Univ Politecn Madrid, Speech Technol & Machine Learning Grp THAU, ETSI Telecomunicac, Av Complutense 30, Madrid 28040, Spain - Autor o Coautor
Universidad Politécnica de Madrid - Autor o Coautor
Ver más

Resumen

Current State-of-the-Art (SotA) chatbots are able to produce high-quality sentences, handling different conversation topics and larger interaction times. Unfortunately, the generated responses depend greatly on the data on which they have been trained, the specific dialogue history and current turn used for guiding the response, the internal decoding mechanisms, and ranking strategies, among others. Therefore, it may happen that for semantically similar questions asked by users, the chatbot may provide a different answer, which can be considered as a form of hallucination or producing confusion in long-term interactions. In this research paper, we propose a novel methodology consisting of two main phases: (a) hierarchical automatic detection of topics and subtopics in dialogue interactions using a zero-shot learning approach, and (b) detecting inconsistent answers using k-means and the Silhouette coefficient. To evaluate the efficacy of topic and subtopic detection, we use a subset of the DailyDialog dataset and real dialogue interactions gathered during the Alexa Socialbot Grand Challenge 5 (SGC5). The proposed approach enables the detection of up to 18 different topics and 102 subtopics. For the purpose of detecting inconsistencies, we manually generate multiple paraphrased questions and employ several pre-trained SotA chatbot models to generate responses. Our experimental results demonstrate a weighted F-1 value of 0.34 for topic detection, a weighted F-1 value of 0.78 for subtopic detection in DailyDialog, then 81% and 62% accuracy for topic and subtopic classification in SGC5, respectively. Finally, to predict the number of different responses, we obtained a mean squared error (MSE) of 3.4 when testing smaller generative models and 4.9 in recent large language models.
[+]

Palabras clave

clusteringinconsistent responseszero-shot topic detectionChatbotsClusteringInconsistent responsesZero-shot topic detection

Indicios de calidad

Impacto bibliométrico. Análisis de la aportación y canal de difusión

El trabajo ha sido publicado en la revista Applied Sciences-Basel debido a la progresión y el buen impacto que ha alcanzado en los últimos años, según la agencia WoS (JCR), se ha convertido en una referencia en su campo. En el año de publicación del trabajo, 2023, se encontraba en la posición 44/181, consiguiendo con ello situarse como revista Q1 (Primer Cuartil), en la categoría Engineering, Multidisciplinary.

Desde una perspectiva relativa, y atendiendo al indicador del impacto normalizado calculado a partir de las Citas Mundiales de Scopus Elsevier, arroja un valor para la media Ponderada del Impacto Normalizado de la agencia Scopus: 1.61, lo que indica que, de manera comparada con trabajos en la misma disciplina y en el mismo año de publicación, lo ubica como trabajo citado por encima de la media. (fuente consultada: ESI 13 Nov 2025)

De manera concreta y atendiendo a las diferentes agencias de indexación, el trabajo ha acumulado, hasta la fecha 2026-04-09, el siguiente número de citas:

  • WoS: 5
  • Scopus: 10
  • Google Scholar: 2
[+]

Impacto y visibilidad social

Desde la dimensión de Influencia o adopción social, y tomando como base las métricas asociadas a las menciones e interacciones proporcionadas por agencias especializadas en el cálculo de las denominadas “Métricas Alternativas o Sociales”, podemos destacar a fecha 2026-04-09:

  • El uso, desde el ámbito académico evidenciado por el indicador de la agencia Altmetric referido como agregaciones realizadas por el gestor bibliográfico personal Mendeley, nos da un total de: 23.
  • La utilización de esta aportación en marcadores, bifurcaciones de código, añadidos a listas de favoritos para una lectura recurrente, así como visualizaciones generales, indica que alguien está usando la publicación como base de su trabajo actual. Esto puede ser un indicador destacado de futuras citas más formales y académicas. Tal afirmación es avalada por el resultado del indicador “Capture” que arroja un total de: 23 (PlumX).

Con una intencionalidad más de divulgación y orientada a audiencias más generales podemos observar otras puntuaciones más globales como:

  • El Score total de Altmetric: 2.
  • El número de menciones en la red social X (antes Twitter): 2 (Altmetric).

Es fundamental presentar evidencias que respalden la plena alineación con los principios y directrices institucionales en torno a la Ciencia Abierta y la Conservación y Difusión del Patrimonio Intelectual. Un claro ejemplo de ello es:

  • El trabajo se ha enviado a una revista cuya política editorial permite la publicación en abierto Open Access.
  • Asignación de un Handle/URN como identificador dentro del Depósito en el Repositorio Institucional: https://oa.upm.es/76817/

Como resultado de la publicación del trabajo en el repositorio institucional, se han obtenido datos estadísticos de uso que reflejan su impacto. En términos de difusión, podemos afirmar que, hasta la fecha

  • Visualizaciones: 236
  • Descargas: 86
[+]

Análisis de liderazgo de los autores institucionales

Existe un liderazgo significativo ya que algunos de los autores pertenecientes a la institución aparecen como primer o último firmante, se puede apreciar en el detalle: Primer Autor (RODRIGUEZ CANTELAR, MARIO) y Último Autor (CORDOBA HERRALDE, RICARDO DE).

el autor responsable de establecer las labores de correspondencia ha sido D'HARO ENRIQUEZ, LUIS FERNANDO.

[+]