Repositorio
Institucional

Franco, Ademir

Experts' opinion following ChatGPT's responses to prompts on Forensic Odontology-preliminary investigation

INT ASSOC LAW & FORENSIC SCIENCES

EGYPTIAN JOURNAL OF FORENSIC SCIENCES

en

BackgroundLarge language models (LLMs) have been extensively used in the past 5 years. Generative pre-trained transformers based on LLM algorithms, such as ChatGPT, became a paradigm shift in the medical field, including specialties such as Forensic Odontology. The accuracy of their responses to technical commands, however, is debatable. This study aimed to assess the quality of ChatGPT responses through the lenses of experts in Forensic Odontology. Eleven prompt commands were presented individually to ChatGPT (TM) 3.5 (OpenAI, San Francisco, CA, USA). The commands had three designs, (I) textual objective (n = 3), (II) numeric objective (n = 4), and subjective (n = 4), and addressed three main topics of Forensic Odontology-dental human identification, dental age estimation, and bite mark analysis. The responses obtained from the chatbot were presented to 19 experts in Forensic Odontology (all academic professionals) so they could rate the quality of the responses with a 5-point Likert scale.ResultsThe responses were rated moderate, bad, or very bad in 60% of the cases. Textual objective commands had an accuracy of 55.78%, numeric objective commands had an accuracy of 68.94%, and subjective commands reached an accuracy of 63.94%. The best answers were provided to dental human identification commands (69.47%), followed by dental age estimation (67.01%) and bite mark analysis (63.15%).ConclusionsIn its current form, ChatGPT 3.5 is not able to provide fully reliable information to the self-study process of Forensic Odontology when deeper layers of knowledge are required. The chatbot can be, however, a supplement to respond to more objective and superficial commands that do not depend on deep search, contextual analysis, and detailed descriptions based on scientific articles.Antecedentes: Los modelos de lenguaje grandes (LLM) se han utilizado ampliamente en los últimos 5 años. Los transformadores generativos preentrenados basados ​​en algoritmos LLM, como ChatGPT, se convirtieron en un cambio de paradigma en el campo médico, incluyendo especialidades como la odontología forense. Sin embargo, la precisión de sus respuestas a comandos técnicos es discutible. Este estudio tuvo como objetivo evaluar la calidad de las respuestas de ChatGPT desde la perspectiva de expertos en odontología forense. Se presentaron once comandos de aviso individualmente a ChatGPT (TM) 3.5 (OpenAI, San Francisco, CA, EE. UU.). Los comandos tenían tres diseños, (I) objetivo textual (n = 3), (II) objetivo numérico (n = 4) y subjetivo (n = 4), y abordaron tres temas principales de la odontología forense: identificación humana dental, estimación de la edad dental y análisis de marcas de mordedura. Las respuestas obtenidas del chatbot se presentaron a 19 expertos en Odontología Forense (todos profesionales académicos) para que pudieran calificar la calidad de las respuestas con una escala Likert de 5 puntos. Resultados Las respuestas fueron calificadas como moderadas, malas o muy malas en el 60% de los casos. Los comandos objetivos textuales tuvieron una precisión del 55,78%, los comandos objetivos numéricos tuvieron una precisión del 68,94%, y los comandos subjetivos alcanzaron una precisión del 63,94%. Las mejores respuestas se proporcionaron a los comandos de identificación dental humana (69,47%), seguidos de la estimación de la edad dental (67,01%) y el análisis de marcas de mordedura (63,15%). Conclusiones En su forma actual, ChatGPT 3.5 no es capaz de proporcionar información totalmente fiable para el proceso de autoaprendizaje de Odontología Forense cuando se requieren niveles más profundos de conocimiento. Sin embargo, el chatbot puede servir como complemento para responder a comandos más objetivos y superficiales que no dependen de búsquedas profundas, análisis contextuales ni descripciones detalladas basadas en artículos científicos.

artículo original

Artificial intelligence

ChatGPT

Education

Forensic dentistry

Learning

LLM

Teaching

10.1186/s41935-025-00488-4

pdf

AGE ESTIMATION

ADULTS

AGE ESTIMATION

ADULTS

Odontología, Cirugía y Medicina Oral

Ciencia Forense

Ciencias de la Computación

versión publicada

dorada

verde

acceso abierto

acceso abierto

WOS:001595233700002

Experts' opinion following ChatGPT's responses to prompts on Forensic Odontology-preliminary investigation

artículo original

INT ASSOC LAW & FORENSIC SCIENCES

EGYPTIAN JOURNAL OF FORENSIC SCIENCES

Medicine, Legal

en

2090-536X

Coordenacao de Aperfeicoamento de Pessoal de Nivel Superior-Brasil (CAPES)(Coordenacao de Aperfeicoamento de Pessoal de Nivel Superior (CAPES))

Coordenacao de Aperfeicoamento de Pessoal de Nivel Superior-Brasil (CAPES) [001]

pdf