TAC

Ce répertoire contient le matériel pour le cours de "Traitement automatique de corpus" (STIC-B545) donné à l'ULB.

Installation

1. Créez un compte Github et générez un fork du répertoire tac. Votre version du répertoire se trouvera alors à l'adresse https://github.com/<YOUR-GITHUB-ID>/tac
2. Installez uv, l'outil qui gère à la fois Python, l'environnement virtuel et les dépendances du projet:

   • Windows (PowerShell):

     powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

     Vous aurez peut-être à ajouter votre .local/bin au chemin d'exécution pour pouvoir exécuter les commandes uv:

     $env:Path = "$env:Path = "$HOME\.local\bin;$env:Path"

     Et autoriser l'exécution de scripts via le terminal :

     Set-ExecutionPolicy -Scope Process -ExecutionPolicy RemoteSigned

   • MacOS / Linux:

     curl -LsSf https://astral.sh/uv/install.sh | sh

   • !! Vous n'avez pas besoin d'installer Python vous-même: uv télécharge et gère automatiquement la version requise (>= 3.11, < 3.14) au moment de l'installation du projet.

   • !! Si votre ordinateur ne supporte pas les versions récentes de Python, vous pouvez utiliser une machine virtuelle Docker. Vous trouverez les instructions ici

3. Téléchargez et installez Git
4. Téléchargez et installez Visual Studio Code
5. Dans Visual Studio Code, ouvrez un terminal (Terminal > New Terminal) et déplacez-vous dans le dossier qui contiendra les documents du cours (utilisez la commande cd)
6. Exécutez les commandes suivantes une ligne à la fois:

git clone https://github.com/<YOUR-GITHUB-ID>/tac

cd tac

uv sync

Cette dernière commande télécharge la bonne version de Python si nécessaire, crée l'environnement virtuel dans .venv, et installe toutes les dépendances du projet (listées dans pyproject.toml, versions figées dans uv.lock) — en une seule étape. 7. Vous pouvez maintenant utiliser et exécuter le code qui se trouve dans les notebooks (fichiers .ipynb) en choisissant l'environnement Python situé dans .venv (VS Code devrait le proposer automatiquement)

Installer une librairie supplémentaire

Certains notebooks utilisent des librairies additionnelles (par exemple transformers, torch dans le module 5) qui ne sont volontairement pas installées par défaut, car lourdes et propres à un seul notebook. Une cellule en début de notebook s'en charge via:

!uv pip install <nom-de-la-librairie>

Si vous voulez ajouter une librairie de façon permanente au projet (utilisée dans plusieurs notebooks), utilisez plutôt depuis un terminal, à la racine du répertoire:

uv add <nom-de-la-librairie>

Cette commande met à jour pyproject.toml et uv.lock automatiquement.

Module 1

s1_sql: requêtes dans une base de données SQL

s2_api: requêtes sur les APIs OpenStreetMap et EUcountries

s3_scrape: scraping d'articles dans les archives du journal Le Soir

Module 2

s1_convert: conversion de fichiers .pdf en fichier .txt, et aggrégation en un long fichier texte

s2_explore: statistiques de fréquences de fichiers

s3_freq: Analyse des fréquences, des hapax, recherche des mots les plus longs...

Module 3

Extraction de mots-clés

s1_keywords: utilisation de YAKE pour extraire des keywords au sein de chacun des fichiers

s2_wordcloud: génération d'un nuage de mots

Reconnaissance d'entités nommées

s3_ner: reconnaissance d'entités à l'aide d'un modèle SpaCy

Analyse de sentiments

s4_sentiment: analyse de sentiment à l'aide de Textblob

Module 4

s1_classification: classification supervisée de textes

s2_clustering: clustering non supervisé à l'aide de K-means

s3_word_embeddings: exploration du modèle Word2Vec sur un corpus

Module 5

s1_language_detection: identification de la langue d'un texte

s2_machine_translation: traduction automatique à l'aide de modèle transformers

s3_anonymization: anonymisation/pseudonymisation de données with Faker

Module 6

s1_extraction: extraction de texte à partir de formats variés

s2_fuzzy_matching: correction d'erreurs OCR à l'aide de distances d'édition

s3_ai_pair_programming: génération de code Python à l'aide d'une intelligence artificielle

s4_sparql: interrogation de la base de connaissances Wikidata à l'aide de requêtes SPARQL