En este proyecto se propone desarrollar un sistema de anotación automática y recuperación por contenido de imágenes radiológicas (imagen y anotaciones) usando métodos de semántica latente, con el objetivo de apoyar procesos tales como anotación, diagnóstico y formación de profesionales en radiología. Esta propuesta es la segunda fase del proyecto Representación y Clasificación de Grandes Colecciones de Imágenes Médicas, actualmente en desarrollo por parte del Grupo Bioingenium de la Universidad Nacional de Colombia. En dicho proyecto se está construyendo una representaión de las imágenes como una Bolsa de Características (BdC) para efectuar la anotación automática de una gran colección de imágenes de rayos X (~77,000) evaluando distintos métodos de aprendizaje de máquina supervisado y no-supervisado. Uno de los retos en este proyecto consiste mejorar la representación obtenida hasta el momento, de tal forma que se capture mejor la semántica implícita de las imágenes y que permita hacer no solo anotación automática, sino también, recuperación por contenido visual y semántico. De esta forma será posible explorar y aprovechar la colección de imágenes en varias formas. Las imágenes de radiología tienen algunas particularidades que requieren de una representación más eficiente del contenido visual (i.e. información espacial, variabilidad anatómica, ruido, etc.). Dicha representación es fundamental en la fase de anotación, por lo que es necesario que la representación construida extraiga al máximo la semántica implícita obtenida a partir del código IRMA43 del conjunto de entrenamiento (~2,000), el cual costa de 8 tipos de imágenes diferentes (i.e. TAC, RM, Rayos X, etc.). En el grupo de investigación Bioingenium se han abordado problemas similares de representación, interpretación y reconocimiento de objetos complejos en imágenes biomédicas. En esta área, el grupo cuenta con desarrollos y publicaciones en reconocimiento e interpretación de imágenes médicas, en particular del parásito de la malaria 21,22,20, reconocimiento de regiones de interés diagnóstico en imágenes de patología 15, microscopía virtual en megaimágenes de patología 24,23,19, recuperación de imágenes de histopatología a partir del contenido visual 32, anotación de estas mismas imágenes por conceptos de alto nivel semántico asociados al diagnóstico 31, segmentación de tejido cardiaco 7,39 y clasificación de imágenes radiológicas4, entre otras. El enfoque metodológico aquí propuesto toma ventaja de las técnicas del estado del arte en las áreas de procesamiento de imágenes y aprendizaje de máquina. Estas técnicas serán utilizadas en la construcción de espacios de semántica latente, las cuales están siendo fuertemente abordadas en el grupo. Para la representación de la imagen, se propone usar características globales de información visual tales como color, textura y forma 15 , así como también características obtenidas utilizando el método conocido como "bolsa de características" 33 , el cual recientemente ha mostrado ser una buena alternativa para construir una representación más exacta de las imágenes. El proceso de anotación de los conceptos visuales se llevará acabo usando técnicas de Aprendizaje de Máquina 31,4 sobre espacios semánticos multimodales. Se hará especial énfasis en Factorización No Negativa de Matrices para la construcción del espacio semántico y para la anotación automática de las imágenes. Al plantear la representación de las imágenes y las anotaciones en un mismo espacio multimodal, se pueden realizar operaciones tales como búsqueda de imágenes sin anotaciones a partir del texto (recuperación), y búsqueda de anotaciones asociadas a una imagen (anotación) usando información visual y textual. Además al construir un espacio semántico con las distintas modalidades del objeto, la semántica latente emerge y refuerza la representación, lo cual permite una mayor precisión en la tarea de anotación automática. El problema abordado en esta propuesta consiste en cómo hacer anotación y categorización automática de imágenes de radiología a partir de la información visual y textual de una colección. El enfoque planteado en esta propuesta busca representar tanto las imágenes como la información textual en un único espacio semántico, fusionando ambas