Hate Studies tra logica computazionale e classificazione umana. Un caso studio sull’antisemitismo in Twitter

Hate Studies is one of the interdisciplinary fields where Artificial Intelligence is applied to search for algorithms for detecting online hate speech. The essay aims to highlight the role of human classification techniques in researching online hate speech through machine learning and computational logic. In the first part of the article, the definitional issues related to the boundaries of what to include in the category of hate speech and, consequently, in its detection are addressed. Subsequently, it is presented a review of articles which, on one hand use only machine learning methods and, on the other hand combine automatic research with human classification. Finally, a case study based on antisemitism on Twitter during the pandemic period (2019-2021) is presented. The tweets are selected in Italian and they are analyzed using social network analysis (SNA) techniques. The results are then subjected to a confusion matrix, a tool used for analyzing errors made by a machine learning model, in order to draw methodological considerations on the relationship between algorithmic-computational logic and human classification.

Gli Hate Studies sono uno degli ambiti interdisciplinari in cui l’Intelligenza Artificiale è applicata nella ricerca di algoritmi per la detection dell’odio online, unendo gli interessi di studiosi, ricercatori, politici, esperti di comunicazione, attivisti dei diritti umani, responsabili di ong. Basandosi sui saggi raccolte dall’International Network for Hate Studies dell’University of Cardiff e dal Journal of Hate Studies dell’Institute of Hate Studies, si propone una review di articoli pubblicati nel 2023 su ricerche che (a) ricorrono a soli metodi di machine learning, oppure (b) che uniscono la ricerca automatica con la classificazione umana, secondo una divisione già utilizzata in precedenza (Pasta, 2021, 2023). In questo quadro verrà proposto uno studio di classificazione dell’antisemitismo 2.0 a partire da un campione reperito su Twitter, in lingua italiana, dal 1 marzo 2019 al 28 febbraio 2021, che si colloca nella seconda tipologia tra le due utilizzate per la review (b). La domanda di ricerca è se vi siano picchi mensili nell’odio contro gli ebrei, attraverso analisi temporali su classificazioni campionarie effettuate manualmente da esperti, specificando poi quali retoriche e forme di odio siano prevalenti. Il saggio si concentra in particolare sulla metodologia, che rientra nelle tecniche di social network analysis (SNA): il dataset è raccolto utilizzando la libreria open-source Python GetOldTweets3, i tweet sono estratti per parole chiave seguendo la tecnica del campionamento casuale semplice senza ripetizione e sono poi indicizzati manualmente da esperti del settore (“annotatori”). I risultati sono quindi sottoposti ad una matrice di confusione, ossia uno strumento per analizzare gli errori compiuti da un modello di machine learning. Tutti i testi classificati dagli annotatori sono così valutati anche da un differente algoritmo in grado di stabilire se il tweet contenga odio antisemita, dopo aver applicato una serie di procedure tipiche del Natural Language Processing (NLP). Per la classificazione “alternativa” si utilizza una ricerca in lingua italiana che, secondo la classificazione richiamata, rientra nella tipologia opposta (a) a quella sperimentata. A partire dalla riflessione sull’alto grado di differenza di valutazione sugli stessi tweet tra il processo di annotazione anche manuale e quella prodotta dall’algoritmo creato con il solo dizionario di parole negative di un’altra metodologia, si trarranno alcune considerazioni su come, nei processi di detection, la logica algoritmica e computazionale vada integrata alla classificazione umana.