Modelo Cassiopeia como avaliador de sumários automáticos: aplicação em um corpus educacional

Abstract

Considerando a grande quantidade de informações textuais disponíveis atualmente, principalmente na web, está se tronando cada vez mais difícil o acesso e a assimilação desse conteúdo para o usuário. Nesse contexto, torna-se necessário buscar tarefas capazes de transformar essa grande quantidade de dados em conhecimento útil e organizado. Uma alternativa para amenizar esse problema, é reduzir o volume de informações disponíveis a partir da produção de resumos dos textos originais, por meio da sumarização automática (SA) de textos. A sumarização automática de textos consiste na produção automática de resumos a partir de um ou mais textos-fonte, de modo que o sumário contenha as informações mais relevantes deste. A avaliação de resumos é uma tarefa importante no campo da sumarização automática de texto, a abordagem mais intuitiva é a avaliação humana, porém é onerosa e improdutiva. Outra alternativa é a avaliação automática, alguns avaliadores foram propostos, sendo a mais conhecida e amplamente usada é a medida ROUGE (Recall-Oriented Understudy for Gisting Evaluation). Um fator limitante na avaliação da ROUGE é a utilização do sumário humano de referência, o que implica em uma restrição do idioma e domínio, além de requerer um trabalho humano demorado e oneroso. Diante das dificuldades encontradas na avaliação de sumários automáticos, o presente trabalho apresenta o modelo Cassiopeia como um novo método de avaliação. O modelo é um agrupador de textos hierárquico, o qual consiste no uso da sumarização na etapa do pré-processamento, onde a qualidade do agrupamento é influenciada positivamente conforme a qualidade da sumarização. As simulações realizadas neste trabalho mostraram que a avaliação realizada pelo modelo Cassiopeia é semelhante a avaliação realizada pela ferramenta ROUGE. Por outro lado, a utilização do modelo Cassiopeia como avaliador de sumários automáticos evidenciou algumas vantagens, sendo as principais; a não utilização do sumário humano no processo de avaliação, e a independência do domínio e do idioma.