Tres Nuevos Módulos USE Multilingües Llegarán A TensorFlow

2023 Autor: Kayla Nelson | [email protected]. Última modificación: 2023-05-24 12:02

Google es uno de los pioneros en la investigación de la IA y muchos de sus proyectos han llamado la atención. AlphaZero de Google Mente profunda Team fue un gran avance en la investigación de IA, debido a la capacidad del programa para aprender juegos complicados por sí mismo (sin entrenamiento e intervención humanos). Google también ha realizado un excelente trabajo en Programas de procesamiento de lenguaje natural (PNL), que es una de las razones detrás de la eficiencia del Asistente de Google para comprender y procesar el habla humana.

Google anunció recientemente el lanzamiento de tres nuevos USE módulos multilingües y proporcionar más modelos multilingües para recuperar texto semánticamente similar.

Los dos primeros módulos proporcionan modelos multilingües para recuperar texto semánticamente similar, uno optimizado para el rendimiento de recuperación y el otro para la velocidad y menos uso de memoria. El tercer modelo está especializado para la recuperación de preguntas y respuestas en dieciséis idiomas (USE-QA) y representa una aplicación completamente nueva de USE. Los tres módulos multilingües se entrenan usando un marco de codificador dual multitarea, similar al modelo USE original para inglés, mientras se utilizan técnicas que desarrollamos para mejorar el enfoque softmax de codificador dual con margen aditivo. Están diseñados no solo para mantener un buen desempeño en el aprendizaje por transferencia, sino también para realizar bien las tareas de recuperación semántica.

El procesamiento del lenguaje en los sistemas ha recorrido un largo camino, desde el análisis sintáctico básico del árbol hasta los modelos de asociación de grandes vectores. Comprender el contexto en el texto es uno de los mayores problemas en el campo NLP y el Codificador de oración universal lo resuelve convirtiendo el texto en vectores de alta dimensión, lo que facilita la clasificación y la denotación del texto.

Según Google, " Los tres nuevos módulos se basan en una arquitectura de recuperación semántica, que normalmente divide la codificación de preguntas y respuestas en redes neuronales separadas, lo que permite buscar entre miles de millones de respuestas potenciales en milisegundos.”En otras palabras, esto ayuda a indexar mejor los datos.

“ Los tres módulos multilingües se entrenan usando un marco de codificador dual multitarea, similar al modelo USE original para inglés, mientras se utilizan técnicas que desarrollamos para mejorar el enfoque softmax de codificador dual con margen aditivo. Están diseñados no solo para mantener un buen rendimiento en el aprendizaje por transferencia, sino para realizar bien las tareas de recuperación semántica.. " La función Softmax se usa a menudo para ahorrar potencia computacional al exponenciar los vectores y luego dividir cada elemento por la suma del exponencial.

Arquitectura de recuperación semántica

“Los tres nuevos módulos se basan en arquitecturas de recuperación semántica, que normalmente dividen la codificación de preguntas y respuestas en redes neuronales separadas, lo que hace posible buscar entre miles de millones de respuestas potenciales en milisegundos. La clave para usar codificadores duales para una recuperación semántica eficiente es precodificar todas las respuestas de los candidatos a las consultas de entrada esperadas y almacenarlas en una base de datos de vectores optimizada para resolver el problema del vecino más cercano, lo que permite buscar rápidamente un gran número de candidatos precisión y recuerdo "

Puede descargar estos módulos de TensorFlow Hub. Para obtener más información, consulte la entrada de blog completa de GoogleAI.