Enfoque combinado de Word2Vec y 2-grams para la recuperación de avisos clasificados inmobiliarios semánticamente relacionados

Figura 1: Histograma de la longitud del conjunto textual

En este mismo sentido, resulta atractivo no solo analizar la frecuencia de uso de términos en los avisos, sino también la coocurrencia de términos, y mucho más la coocurrencia de combinaciones de términos (bigramas, trigramas o cuatrigramas). Luego de algunas pruebas se comprobó que existen diversos bigramas muy empleados en las descripciones de los avisos, estos tienen que ver con detalles o características del inmueble ofrecido, como ser la cantidad de dormitorios, el tipo de piso, el tipo de cocina, la proximidad a algún lugar, el tamaño de alguna zona del departamento, entre muchos otros. La Tabla 3 presenta el listado de los 30 bigramas más frecuentemente empleados al momento de describir un aviso en el conjunto de datos seleccionado, en dicha tabla se excluyeron previamente las palabras vacías (stopwords) del español, puesto que no aportan datos relevantes al análisis.

Tabla 3: Listado de la frecuencia de los 30 bigramas más empleados

Todos estos detalles permanecen ocultos al usuario que realiza la búsqueda, salvo que ingrese aviso por aviso y proceda a leer dicha descripción, para un número pequeños de avisos esto es una tarea sencilla, pero cuando se trata de decenas, centenas o miles de avisos es impracticable realizarlo de forma manual. Por estas razones sería deseable contar con un instrumento de búsqueda que permitiera recuperar avisos con algún tipo de relación según un conjunto de términos o frase que describiera “mejor” al inmueble buscado.

Preprocesamiento del texto

El preprocesamiento es uno de los componentes clave en muchas de las tareas de minería de texto, para este trabajo consistió en las siguientes tareas: corrección, normalización, tokenización, filtrado y lematización. La corrección se realizó para completar abreviaturas comunes que fueron detectadas en las descripciones de los avisos, por ejemplo: “Nva Cba” corresponde a “Nueva Córdoba”, “dpto” y “depto” corresponden a “departamento”, “dorm” corresponde a “dormitorio”, “oport” corresponde a “oportunidad”, entre los más frecuentes. La normalización consistió en pasar todo el texto a minúsculas, eliminar los signos de puntuación, eliminar las tildes de las palabras acentuadas, y eliminar las cadenas vacías. Esto es necesario no solo para reducir la cantidad de términos a procesar y por ende reducir los cálculos, sino también para evitar que dos palabras iguales sean tratadas como distintas por la inclusión de un punto, guion o acento. Por su parte, la tokenización es la tarea de dividir una secuencia de caracteres en pedazos (palabras / frases) llamados tokens. La lista de tokens luego se usa para un procesamiento posterior (Webster & Kit, 1992). El filtrado generalmente se realiza sobre los documentos para eliminar algunas de las palabras. Un filtrado común es la eliminación de stopwords. Las stopwords son las palabras que aparecen con frecuencia en el texto sin tener mucha información de contenido (por ejemplo, preposiciones, conjunciones, etc.). Del mismo modo, las palabras que aparecen con bastante frecuencia en el texto y que se dice que tienen poca información para distinguir diferentes documentos y también las palabras que aparecen muy raramente tampoco tienen una relevancia significativa y pueden eliminarse de los documentos (Silva & Ribeiro, 2003). Por último, la lematización es la tarea que considera el análisis morfológico de las palabras, es decir, agrupar las diversas formas flexionadas de una palabra para que puedan analizarse como un solo ítem.

Modelado

Como en muchas áreas del PLN, en los últimos años la mayoría de los trabajos ha incorporado técnicas basadas en Word Embeddings como mecanismo para mejorar los resultados (Chiruzzo, Etcheverry, & Rosá, 2020). Word2Vec es un modelo de Word Embeddings (incrustación de palabras en español) que emplea redes neuronales para representar palabras de un texto en un espacio vectorial (Mikolov, Sutskever, Chen, Corrado, & Dean, 2013). Este esquema de representación ha obtenido mejores resultados que su predecesor bag-of-words (Bojanowski, Grave, Joulin, & Mikolov, 2017), aunque en la actualidad sigue demostrando buenos resultados cuando se trabaja con textos muy cortos (Yang, Huang, & Ofoghi, 2019).

El título y la descripción de los 8.081 avisos de venta de departamentos fueron empleados para conformar un corpus textual modelado mediante Word2Vec, evaluando la similitud por medio del esquema Word Mover’s Distance (WMD) (Kusner, Sun, Kolkin, & Weinberger, 2015). WMD mide la distancia total que las incrustaciones de palabras de dos textos (para este caso la tupla título + descripción) deben viajar para convertirse en idénticas. WMD aprovecha los resultados de las técnicas de incrustación avanzada como Word2Vec, que aprende representaciones semánticamente significativas de palabras a partir de coocurrencias locales en oraciones. Las técnicas basadas en distancia de edición como la distancia de Hamming (para cadenas de la misma longitud) o la generalización de ésta, la distancia de Levenshtein (Levenshtein, 1966), no resultan efectivas para realizar búsquedas semánticas puesto que uno busca con un conjunto muy reducido de términos (de dos a cuatro) y la comparación se realiza con registros de hasta cientos de términos, en estos casos los valores de distancia de Hamming o Levenshtein no aportan resultados coherentes al problema en cuestión.

Para facilitar las tareas de procesamiento de los datos de este trabajo se decidió emplear las bibliotecas de Python NLTK (Bird, Klein, & Loper, 2009) para todo lo que respecta al PLN y Gensim (Řehůřek & Sojka, 2010) la cual posee implementación del modelo Word2Vec y WMD.

Resultados

Tanto las implementaciones de los modelos como de las funciones de similitud empleados, facilitan enormemente las etapas de prueba y verificación de los enfoques planteados. Posibilitan realizar pruebas simultaneas con diferentes combinaciones de grupos de términos, es decir, empleando unigramas, bigramas, trigramas o cuatrigramas. Corroborando en cada caso cual es el esquema que mejor se ajusta al problema y sobre todo al conjunto de datos, ya que el conocimiento que “aprenden” las técnicas de PLN proviene del conjunto de datos procesado.

Para una búsqueda con los siguientes términos: Consulta= “piso parque amplio balcón ciudad universitaria” algunos de los resultados más relevantes se observan en la Tabla 4 ordenados de mayor a menor relevancia, según la puntuación de la función de similitud WMD empleando bigramas.

Tabla 4: Top 5 de resultados para una búsqueda con 6 términos

En negrita se pueden observar los términos que guardan alguna relación con la búsqueda realizada (la existencia de los términos buscados dentro del texto analizado), o que a primera vista pueden coincidir de algún modo con los términos o frase de búsqueda. En este sentido, las búsquedas sintácticas no entregan la mayor cantidad de resultados puesto que la falta de algún carácter o los errores ortográficos producen resultados distintos, es decir, al buscar el término “Córdoba” es distinto a “córdoba” (en minúscula), “cordoba” (en minúscula y sin acento), “Crodoba” (caracteres intercambiados y sin acento) y “Cordoba” (sin acento) por ejemplo. Sin embargo, las búsquedas semánticas y sobre todo las relaciones semánticas entre el texto, pasan por alto este tipo de errores u omisiones, y pueden seguir entregando buenos resultados (Sarker & Gonzalez-Hernandez, 2018).

Por ejemplo, los resultados 4 y 5 de la tabla anterior no poseen dentro de la descripción los términos “Ciudad Universitaria”, a pesar de ello ambos avisos guardan una estrecha relación con la búsqueda realizada ya que estos inmuebles se encuentran muy cercanos a Ciudad Universitaria, entre 600 y 700 metros de distancia. Pero este conocimiento inducido no es casual, ya que proviene de otros avisos que incorporan algunas indicaciones de la ubicación del “Sanatorio Allende” y “El parque Sarmiento”, señalando la proximidad con “Ciudad Universitaria”. Ambos resultados mediante una búsqueda sintáctica habrían sido descartados por la ausencia de los términos buscados. Es aquí donde cobran real importancia el empleo de técnicas de búsqueda de resultados basados en la semántica del contenido (Medrano, 2018).

Algunos de los malos resultados encontrados, es decir, registros que luego de una revisión manual no eran relevantes a la búsqueda realizada, tienen que ver en su mayoría con avisos muy cortos, es decir, avisos que poseen entre el título y la descripción no más de 100 caracteres (entre 10 y 13 palabras aproximadamente). Estos avisos poco o nada descriptivos con la sola existencia de uno de los términos buscados ya entregan una “buena puntuación” aunque en realidad sea un aviso que no está nada relacionado con la búsqueda realizada. Por ejemplo el siguiente aviso: “Nueva Córdoba (Título) –Monoambiente 30m2 cerca ciudad universitaria ambrosio olmos (Descripción)”.

Evaluación

Si bien no existe un esquema base con el cual comparar objetivamente los resultados obtenidos a lo largo de las pruebas realizadas, el esquema que se empleó fue seleccionar una serie de consultas con términos representativos de la ubicación, característica, servicio, comodidad o proximidad del inmueble y definir los 20 resultados más adecuados (agrupándolos por longitud de registro) de acuerdo a cada una de las 5 consultas, para luego comparar los resultados entregados con el modelo propuesto y con las distintas variantes de conjuntos de términos (n-gramas) adoptando la métrica de evaluación exhaustividad (recall) (Baeza-Yates & Ribeiro-Neto, 1999). La sensibilidad o exhaustividad es la fracción de instancias o elementos relevantes recuperados por una consulta:

(1)

Por cada consulta se obtuvieron los primeros 20 resultados y en cada caso se computaron los elementos relevantes recuperados contra los 20 registros definidos inicialmente. La Figura 2 resume el promedio de exhaustividad calculado para cada una de las alternativas empleadas teniendo en cuenta la longitud de los registros. Se puede observar que a medida que el tamaño de los registros aumenta el esquema que entrega los mayores valores de exhaustividad es el 2-gramas (agrupaciones de 2 términos). Sin embargo para registros pequeños (menos de 300 caracteres) el esquema que entrega los mejores resultados es el de 1-grama (un único término).

Figura 2: Valores promedio de recall según esquema n-grama empleado y tamaño de los registros

Conclusiones

A partir de la recolección de un gran conjunto de avisos clasificados de inmuebles, se llevó a cabo un experimento basado en la recuperación de avisos comenzando con una búsqueda inicial empleando términos no paramétricos analizando textos no estructurados. Los resultados indican que el enfoque propuesto es prometedor y que el uso de modelos basados en word embedding entrenados con bigramas parece funcionar mejor que un modelo unigrama, trigrama o cuatrigrama a medida que aumenta el tamaño de los títulos y descripciones de los avisos.

En este artículo se describió un prototipo destinado a la tarea de encontrar, en un gran corpus de clasificados, un conjunto de avisos que están relacionados semánticamente a una frase o conjunto de términos. Distintas consultas fueron empleadas para evaluar la capacidad del proceso expuesto para encontrar la mayor cantidad de avisos relevantes a estas. Las comparaciones realizadas sugieren que la calidad del modelo planteado aumenta con el empleo de n-gramas de palabras de diferentes órdenes (1–3). Con descripciones cortas (entre 100 y 300 caracteres) el mejor esquema es el empleo de unigramas tradicionales, sin embargo como la media del tamaño de registros supera los 600 caracteres, entrenar el modelo con bigramas resulta la mejor elección.

El enfoque que se plantea puede ser claramente mejorado a partir del empleo de evaluaciones o sugerencias colaborativas en base a opiniones de los propios usuarios. Además podría restringirse el tamaño mínimo de las descripciones a 300 caracteres para obtener un detalle más rico en información y de esta forma aumentar la calidad de los resultados recuperados. Del mismo modo, con la sugerencia de ciertos términos se podría mejorar el detalle del inmueble.

Referencias

Andonian, A., Fosco, C., Monfort, M., Lee, A., Feris, R., Vondrick, C., & Oliva, A. (2020). We Have So Much In Common: Modeling Semantic Relational Set Abstractions in Videos. arXiv preprint arXiv:2008.05596.

Aytar, Y., Shah, M., & Luo, J. (2008). Utilizing semantic word similarity measures for video retrieval. 2008 IEEE Conference on Computer Vision and Pattern Recognition, (págs. 1-8).

Baeza-Yates, R., & Ribeiro-Neto, B. (1999). Modern Information Retrieval.

Biçici, E., & Way, A. (2016). Referential translation machines for predicting semantic similarity. language resources and evaluation, 50(4), 793-819.

Bird, S., Klein, E., & Loper, E. (2009). Natural language processing with Python: analyzing text with the natural language toolkit. O'Reilly Media, Inc.

Bojanowski, P., Grave, E., Joulin, A., & Mikolov, T. (2017). Enriching Word Vectors with Subword Information. Transactions of the Association for Computational Linguistics, 5(1), 135-146.

Chiruzzo, L., Etcheverry, M., & Rosá, A. (2020). Sentiment Analysis in Spanish Tweets: Some Experiments with Focus on Neutral Tweets. Proces. del Leng. Natural, 64, 109-116.

Fang, K., Zhao, L., Shen, Z., Wang, R., Zhou, R., & Fan, L. (2020). Beyond Lexical: A Semantic Retrieval Framework for Textual SearchEngine. arXiv preprint arXiv:2008.03917.

Feldman, R., & Dagan, I. (1995). Knowledge discovery in Textual Databases (KDT). KDD'95 Proceedings of the First International Conference on Knowledge Discovery and Data Mining, (págs. 112-117).

Feldman, R., & Sanger, J. (2006). The Text Mining Handbook: Advanced Approaches in Analyzing Unstructured Data.

Glez-Peña, D., Lourenço, A., López-Fernández, H., Reboiro-Jato, M., & Fdez-Riverola, F. (2014). Web scraping technologies in an API world. Briefings in Bioinformatics, 15(5), 788-797.

Kusner, M., Sun, Y., Kolkin, N., & Weinberger, K. (2015). From Word Embeddings To Document Distances. Proceedings of The 32nd International Conference on Machine Learning, (págs. 957-966).

Levenshtein, V. I. (1966). Binary codes capable of correcting deletions, insertions, and reversals. Soviet Physics Doklady, 10(8), 707–710.

Limbasiya, N., & Agrawal, P. (2019). Semantic Textual Similarity and Factorization Machine Model for Retrieval of Question-Answering. International Conference on Advances in Computing and Data Sciences, 195-206.

Medrano, J. (2018). Filtrado basado en contenido para artículos académicos en repositorios institucionales. XXIV Congreso Argentino de Ciencias de la Computación (La Plata, 2018).

Mikolov, T., Sutskever, I., Chen, K., Corrado, G., & Dean, J. (2013). Distributed Representations of Words and Phrases and their Compositionality. Advances in Neural Information Processing Systems 26, (págs. 3111-3119).

Řehůřek, R., & Sojka, P. (2010). Software Framework for Topic Modelling with Large Corpora.

Sarker, A., & Gonzalez-Hernandez, G. (2018). An unsupervised and customizable misspelling generator for mining noisy health-related text sources. Journal of Biomedical Informatics, 88, 98-107.

Silva, C., & Ribeiro, B. (2003). The importance of stop word removal on recall values in text categorization. Proceedings of the International Joint Conference on Neural Networks, 2003., 3, págs. 1661-1666.

Soto, A., Przybyła, P., & Ananiadou, S. (2019). Thalia: semantic search engine for biomedical abstracts. Bioinformatics, 35(10), 1799-1801.

Webster, J., & Kit, C. (1992). Tokenization as the initial phase in NLP. COLING '92 Proceedings of the 14th conference on Computational linguistics - Volume 4, (págs. 1106-1110).

Yang, S., Huang, G., & Ofoghi, B. (2019). Short Text Similarity Measurement Using Context from Bag of Word Pairs and Word Co-occurrence. international conference on the digital society, 1179, 221-231.

Zheng, T., Gao, Y., Wang, F., Fan, C., Fu, X., Li, M., . . . Ma, H. (2019). Detection of medical text semantic similarity based on convolutional neural network. BMC Medical Informatics and Decision Making, 19(1), 1-11.

Zhou, G., Zhou, Y., He, T., & Wu, W. (2016). Learning semantic representation with neural networks for community question answering retrieval. Knowledge Based Systems, 93, 75-83.