Conditional random fields in text  segmentation by language

Cabeza Ruiz, Robin

doi:https://doi.org/10.18046/syt.v15i43.2712

Conditional random fields in text segmentation by language

Files

documento.html (291 B)

Date

2017-06-12

Authors

Cabeza Ruiz, Robin

Publisher

Universidad Icesi

Documentos PDF

Resumen

This work presents using conditional random fields for solving the task of text segmentation by language, considering it as a sequence tagging task. Language changes are considered to occur in every part of the text, observations are assumed to be the words in the text, and the states are the different languages. Research let conclude that conditional random fields are a powerful tool for segmentation of multilingual text.

Description

En este trabajo se propone la utilización de los campos aleatorios condicionales para la resolución de la tarea de segmentación de textos por idioma, considerándola como una tarea de etiquetado de secuencias. La metodología considera que el cambio entre un idioma y otro en los documentos ocurrirá en cualquier parte del texto y asume que las observaciones en el sistema estarán dadas por las palabras en el texto y que los estados serán los diferentes idiomas. De la investigación se concluye que los campos aleatorios condicionales son una herramienta muy poderosa para la segmentación de textos multilingües.