Extending an Ensemble Baseline with Corpus-Based Graph Features for Portuguese Pun Detection
Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1, 2026
Membros / Perfil
Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1, 2026
Proceedings of the 17th International Conference on Computational Processing of Portuguese (PROPOR 2026) - Vol. 1, 2026
Linguamática, 2026
<jats:p>Messages containing toxic language are a recurring problem on social media, highlighting the urgent need for effective automatic methods to mitigate their impact. Most existing approaches rely on large volumes of annotated data, which are costly, time-consuming, and highly labor-intensive. To address this challenge, this work proposes an ensemble of classifiers for the automatic annotation of toxic language in Portuguese, designed to operate under limited labeled data. The ensemble integrates three complementary strategies: a semi-supervised method based on heterogeneous graphs, a few-shot learning approach, and a Retrieval-Augmented Generation method, both grounded in large language models. The proposal is evaluated across multiple corpora, considering both their original versions and subsets filtered by total inter-annotator agreement. The results indicate that the ensemble exhibits competitive performance, surpassing the best individual method by up to 2% in scenarios of greater balance among the constituent classifiers and maintaining comparable performance in the remaining ones, while preserving moderate to substantial agreement with the original labels, demonstrating its potential for constructing annotated linguistic resources under data scarcity.</jats:p>
2025
Proceedings of the 31st Brazilian Symposium on Multimedia and the Web (WebMedia 2025), 2025
<jats:p>Automated Essay Scoring (AES) has made significant progress in evaluating written texts, but the generation of constructive feedback for essays, particularly in Portuguese, remains underexplored. This paper proposes a zero-shot prompting approach to automatically generate feedback for ENEM essays, an essential component of formative assessments.We evaluate several Large Language Models (LLMs) – Gemini 2.0 Flash, Sabiá 3, Llama 3-8B, and Qwen 3-8B – to provide feedback on five competencies defined by the ENEM scoring rubric. Using the AES-ENEM dataset, we prompt the models to generate feedback for each competency, comparing their semantic similarity with human feedback using the BERTScore metric. Additionally, a linguist with expertise in ENEM essays evaluates the feedback for its constructiveness and informativeness. Our results demonstrate that while the models perform similarly in BERTScore evaluations, the Qwen model produces the most informative and constructive feedback. This work contributes to the development of automated systems that not only grade essays but also assist in improving student writing skills, potentially reducing teacher workload in large-scale assessments.</jats:p>
Anais do XVII Encontro Unificado de Computação do Piauí (ENUCOMPI 2025), 2025
<jats:p>Este trabalho apresenta um estudo sobre a detecção automática de trocadilhos em português. Para isso, foi utilizado o corpus Puntuguese, uma coleção inédita de 3.990 textos curtos, divididos igualmente entre trocadilhos e não trocadilhos. O modelo BERTimbau Large foi aplicado para analisar as sentenças, por ser especializado nas variações do português brasileiro e europeu. Os resultados foram satisfatórios, mesmo diante da dificuldade que a tarefa impõe, mostrando que o modelo é promissor para identificar esse tipo de humor verbal. O estudo contribui com a área de Processamento de Linguagem Natural em português e abre espaço para melhorias futuras, como a adição de informações de contexto e técnicas de regularização mais eficazes.</jats:p>
Anais Estendidos do XXXI Simpósio Brasileiro de Sistemas Multimídia e Web (WebMedia 2025), 2025
<jats:p>Addressing the paradox between the high volume of discarded food and the number of people facing hunger, FoodConnect offers a technological solution to the logistical challenges faced by Non-Governmental Organizations (NGOs). The system connects donors, such as supermarkets and street market vendors, to recipients, such as NGOs, allowing the former to register products for donation and the latter to reserve them in an organized manner. The project was carried out following software engineering practices, including requirements gathering, modeling with use case and entity-relationship diagrams, and was implemented with modern technologies such as TypeScript, Node.js, and Prisma on the back-end, and React with Vite and Tailwind CSS on the front-end. The result is a functional web application that demonstrates the feasibility of utilizing technology to promote social responsibility and streamline the donation process.</jats:p>
Anais do XVI Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL 2025), 2025
<jats:p>Humor is a remarkably complex emotional process, defined as any object or event that causes laughter or amusement or is considered funny. Therefore, recognizing humor is considered one of the most challenging tasks in Natural Language Processing. In this paper, we approached the pun detection task for the Portuguese language. Puns are a form of wordplay that exploits multiple meanings of a term or similar-sounding words to create an intended humorous or rhetorical effect. Our strategy is straightforward: we trained and evaluated an ensemble learning approach of traditional machine learning models on PUNTUGUESE, a recent corpus of Portuguese puns. With this, we outperformed a BERT-based model by 11 p.p. in accuracy and achieved state-of-the-art results. More than that, we performed a detailed error analysis and found that our approach has limitations in identifying puns that contain neologisms.</jats:p>
Proceedings of the 31st Brazilian Symposium on Multimedia and the Web (WebMedia 2025), 2025
<jats:p>The proliferation of toxic messages on the Web has led many social networks to limit or shut down user comments, as these messages are harmful to people and keep them away from online platforms. Most approaches deal with this unacceptable language form, focusing only on identifying if a comment is toxic or not, using a supervised learning strategy, leaving aside the various types of harmful messages, such as LGBT+phobia, racism, xenophobia, and others. In this paper, we investigate three contextual word embedding models: BERTimbau, BERTweet.BR, and LLaMA 3.1 within a semi-supervised approach to distinguish whether a comment is toxic. Also, we explore this strategy to detect six types of toxicity: LGBT+phobia, insult, racism, obscenity, xenophobia, and misogyny. This task is defined as a multi-label classification problem, as a comment may contain several types of abusive language. We evaluated our approach using the ToLD-BR corpus and achieved competitive results for the binary toxicity classification task. In the context of multi-label toxicity detection, our best result outperformed approaches based on supervised learning, using significantly fewer labeled data, and emphasized their efficiency and practicality.</jats:p>
Anais do XVI Simpósio Brasileiro de Tecnologia da Informação e da Linguagem Humana (STIL 2025), 2025
<jats:p>Este trabalho apresenta o Sistema de Tutoria Inteligente de Respostas Automáticas (SisTIRA), uma plataforma web para avaliação automática de respostas discursivas. Desenvolvido com NestJS, Prisma e integrado ao Google GenAI (modelo Gemini-1.5-flash-8b), o sistema gerencia provas, bancos de questões e usuários, atribuindo notas de 0.0 a 1.0 com feedback breve. Em testes iniciais com vinte questões, o sistema demonstrou alta consistência e pertinência nos resultados, confirmando sua aplicabilidade em avaliações síncronas. O artigo descreve a arquitetura da solução, os testes de validação e perspectivas de aprimoramento.</jats:p>
Proceedings of the 16th International Conference on Computational Processing of Portuguese - Vol. 1, 2024
Anais do XIII Brazilian Workshop on Social Network Analysis and Mining (BraSNAM 2024), 2024
<jats:p>Mensagens tóxicas acarretam sérios problemas nas plataformas de redes sociais, uma vez que são usadas para prejudicar indivíduos, grupos ou organizações. Os métodos automáticos de combate ao Discurso de Ódio precisam de bons recursos linguísticos, como corpora. A construção manual de corpus de linguagem tóxica impõe desafios significativos devido à forte subjetividade associada ao conceito de Discurso de Ódio e à dificuldade em treinar adequadamente anotadores. A solução deste problema passa pela criação de alternativas para a anotação de dados. Este trabalho apresenta uma técnica semi-supervisionada, baseada em grafo heterogêneo, para detecção e anotação automática de linguagem tóxica. Essa abordagem foi avaliada sobre o corpus ToLD-BR e apresentou nível de concordância moderada com seus rótulos originais.</jats:p>
Proceedings of the 16th International Conference on Computational Processing of Portuguese - Vol. 2, 2024
Proceedings of the 2024 Joint International Conference on Computational Linguistics, Language Resources and Evaluation (LREC-COLING 2024), 2024
Anais do XII Brazilian Workshop on Social Network Analysis and Mining (BraSNAM 2023), 2023
<jats:p>Irony is a linguistic phenomenon that can be seen as a funny or strange aspect of a situation that is very different from what is expected, using words that say the opposite of what they really mean, often as a joke, and with a voice that shows that. When it is just text, detecting irony becomes quite challenging. In this paper, we adopt an approach organized into three stages: feature extraction, sampling techniques, and feature selection to detect ironic texts written in the Portuguese language. We evaluate our strategy on the IDPT corpus and achieve 0.55 balanced accuracy, outperforming state-of-the-art results. Moreover, we found out that both sampling techniques and feature selection may improve the results.</jats:p>
Lecture Notes in Computer Science, 2022
Linguamática, 2022
<jats:p> A Representação Abstrata de Significado (no inglês, Abstract Meaning Representation ---AMR) é um formalismo semântico projetado para capturar o significado de uma sentença, representando-a como um grafo direcionado acíclico de única raiz com nós rotulados (conceitos) e arestas (relações) entre os nós. Essa representação tem recebido bastante atenção da comunidade de Processamento de Língua Natural, pois muitos autores têm proposto vários modelos de analise semântica para produzir grafos AMR a partir de uma sentença, visando melhorar o entendimento da língua natural. Entretanto, a maioria desses modelos focam no inglês devido a falta de grandes corpora anotados para outras línguas, deixando uma lacuna entre o inglês e outros idiomas. A fim de superar esse problema, neste artigo, é realizada uma análise detalhada de vários analisadores AMR, adaptando três modelos diferentes para o português e propondo melhorias. Além disso, estendeu-se um analisador baseado em regras desenvolvido previamente para o português. Esses modelos foram avaliados sobre um corpus anotado para o português. Por fim, realizou-se uma análise detalhada de erros com o objetivo de identificar os maiores desafios para análise no português e obter insights que possam ajudar pesquisas futuras nesta área.</jats:p>
Journal of Information and Data Management, 2022
<jats:p>Automatic Essay Scoring (AES) is the computer technology that evaluates and scores the written essays, aiming to provide computational models to grade essays automatically or with minimal human involvement. While there are several AES studies in a variety of languages, few of them are focused on the Portuguese language. The main reason is the lack of a corpus with manually graded essays. In order to bridge this gap, in this paper we extended a corpus of essays written by Brazilian high school students in an online platform. All of the essays are argumentative and were scored across five competences by experts. Moreover, we conducted an experiment with the extended corpus to show some challenges posed by the Portuguese language. The corpus are publicly available at https://github.com/lplnufpi/essay-br.</jats:p>
Linguamática, 2022
<jats:p>O crescente interesse pelo processamento semântico automático, especialmente por parte dos pesquisadores de Compreensão e de Geração de Língua Natural, tem levado a muitas pesquisas relacionadas ao desenvolvimento de parsers semânticos. E, nesse contexto, a AMR (Abstract Meaning Representation) é um dos formalismos de representação semântica que tem recebido mais atenção recentemente, devido à sua maneira relativamente simples de capturar o significado de uma sentença. A construção de parsers AMR é em grande parte baseada em córpus de referência anotados por humanos. Contudo, esse recurso é ainda bastante escasso para muitas línguas como o português. Por esse motivo, várias pesquisas têm explorado o uso de abordagens entre línguas (cross-lingual), que partem de córpus e parser existentes em uma língua fonte, para o desenvolvimento de recursos semânticos para outras línguas alvo. Dado esse contexto, este artigo descreve o XPTA, um parser AMR para o português (PT) que se baseia na abordagem entre línguas (cross-lingual, X). O XPTA parte de parser AMR existente para o inglês e de vários recursos linguísticos-computacionais bilíngues inglês--português e mapeia o conhecimento semântico disponível no inglês para a representação do significado equivalente em português. Uma avaliação automática do XPTA mostrou que a abordagem adotada é promissora e os valores obtidos para Smatch (66%, no melhor caso) apontaram que o modelo tem potencial para competir com os resultados apresentados na literatura para outros idiomas. Além da análise automática, uma análise qualitativa dos grafos gerados possibilitou identificar e categorizar os principais erros do modelo e suas possíveis causas.</jats:p>
Proceedings of the Conference Recent Advances in Natural Language Processing - Deep Learning for Natural Language Processing Methods and Applications, 2021
Anais do XVIII Encontro Nacional de Inteligência Artificial e Computacional (ENIAC 2021), 2021
<jats:p>A propagação de desinformação trouxe e ainda traz diversos problemas para a sociedade, sendo considerada uma infodemia pela Organização Mundial da Saúde (OMS). A grande maioria dos trabalhos desenvolvidos para lidar com desinformação são focados para a língua inglesa. A fim de preencher essa lacuna, este trabalho investiga estratégias baseadas em aprendizado de máquina supervisionado para detectar desinformação em tweets escritos na língua portuguesa. Além disso, criou-se um corpus que foi manualmente anotado para esta tarefa, a fim de avaliar as abordagens desenvolvidas e compará-las com trabalhos relacionados. Os resultados alcançados são competitivos com trabalhos correlatos, indicando que a abordagem produz um interessante baseline para o corpus construído.</jats:p>
Anais do III Dataset Showcase Workshop (DSW 2021), 2021
<jats:p>Automatic Essay Scoring (AES) is the computer technology that evaluates and scores the written essays, aiming to provide computational models to grade essays automatically or with minimal human involvement. While there are several AES studies in a variety of languages, few of them are focused on the Portuguese language. The main reason is the lack of a corpus with manually graded essays. We create a large corpus with several essays written by Brazilian high school students on an online platform in order to bridge this gap. All of the essays are argumentative and were scored across five competences by experts. Moreover, we conducted an experiment on the created corpus and showed challenges posed by the Portuguese language. Our corpus is publicly available at https://github.com/rafaelanchieta/essay.</jats:p>
Proceedings of the Iberian Languages Evaluation Forum (IberLEF 2021) co-located with the Conference of the Spanish Society for Natural Language Processing (SEPLN 2021), 2021
Lecture Notes in Computer Science, 2020
Proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP), 2020
2019
Abstract Meaning Representation (AMR) is a recently designed semantic representation language intended to capture the meaning of a sentence, which may be represented as a single-rooted directed acyclic graph with labeled nodes and edges. The automatic evaluation of this structure plays an important role in the development of better systems, as well as for semantic annotation. Despite there is one available metric, smatch, it has some drawbacks. For instance, smatch creates a self-relation on the root of the graph, has weights for different error types, and does not take into account the dependence of the elements in the AMR structure. With these drawbacks, smatch masks several problems of the AMR parsers and distorts the evaluation of the AMRs. In view of this, in this paper, we introduce an extended metric to evaluate AMR parsers, which deals with the drawbacks of the smatch metric. Finally, we compare both metrics, using four well-known AMR parsers, and we argue that our metric is more refined, robust, fairer, and faster than smatch.
LREC 2018 - 11th International Conference on Language Resources and Evaluation, 2019
Anais do Brazilian Workshop on Social Network Analysis and Mining (BraSNAM), 2019
<jats:p>Este trabalho apresenta uma nova abordagem para predição da utilidade de opiniões. Usualmente, os trabalhos nessa área usam tabelas do tipo atributo-valor para agregar as caracterı́sticas que representam os textos avaliados. Neste trabalho, essa tarefa é modelada em forma de rede, considerando, dessa forma, as informações de relacionamento entre os objetos da rede (comentários, estrelas e palavras). Uma técnica de regularização de grafos é utilizada para extrair caracterı́sticas relevantes da estrutura do grafo, e, após isso, os comentários são classificados em duas classes: Útil ou Não Útil. Comparou-se a modelagem com um método baseado em lógica fuzzy e a modelagem apresentou resultados promissores, superando-o em 0,13 pontos na medida F1.</jats:p>
2018
WebMedia 2017 - Proceedings of the 23rd Brazillian Symposium on Multimedia and the Web, 2017
Proceedings of the 11th Brazilian Symposium in Information and Human Language Technology, 2017
CEUR Workshop Proceedings, 2017
Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2015
Proceedings of the International Conference on Software Engineering and Knowledge Engineering, SEKE, 2013
38th Latin America Conference on Informatics, CLEI 2012 - Conference Proceedings, 2012