Esta propuesta de investigación proyecta diseñar un sistema para la búsqueda de imágenes médicas que permita realizar consultas utilizando palabras clave o imágenes de ejemplo. Para lograr ésto, el sistema debe estar en capacidad de procesar y administrar datos en dos modalidades: textos y características visuales. El principal problema de investigación en esta propuesta es la construcción de un índice de búsqueda multimodal, es decir, que integre la información visual y textual en la misma estructura de datos. Este esquema proporcionaría la facilidad de buscar imágenes mediante palabras clave, como lo hacen los actuales sistemas de búsqueda, o mediante imágenes de ejemplo, que en el caso médico, estaría asociado a una imagen diagnóstica para la cual se desean obtener imágenes similares como referencia. Además de proporcionar novedosos mecanismos de consulta para las imágenes, el índice multimodal también permitirá indexar imágenes que no tengan descripciones textuales asociadas o cuyas descripciones estén incompletas. Ésto se obtiene gracias a la combinación sistemática que se hace de la información visual y textual en el índice, haciendo que las dos modalidades de datos sean intercambiables para efectos de la búsqueda. Los métodos propuestos están basados en aprendizaje de máquina y recuperación de información, tales como factorización de matrices y métodos de kernel. Los métodos serán evaluados experimentalmente para determinar su desempeño en un conjunto de consultas simuladas y reales, y finalmente un prototipo de sistema será implementado con las funcionalidades propuestas.