TP : creer un dictionnaire avec les url et les mots des pages web nettoyées

[vincentporte]

Hello,
Voici un premier TP pour jouer avec Python.
Le fichire httpwwwlemansfr-ext_links.pickle contient un dictionnaire avec l'URL de la page et le contenu texte brute de cette page
Avec les notebooks 1-sanitize_collected_datas.ipynb et 2-preprocess_documents.ipynb, nous nettoyons le contenu des pages pour le servir gensim pour entrainer notre modele word2vec (output_file preprocessed_docs.txt)

OBJECTIF : construire un nouveau dictionnaire avec l'URL de la page en clé, le texte preprocessed en value
Des idées, des problèmes ? Partageons nos codes dans ce fil de discussions 🍡

[nvallas]

Ce serait intéressant que tu explique la méthode que tu as utilisée pour aspirer le site de Le Mans.
Ça permettra de comparer les différentes solutions disponibles et de rendre l’exercice reproductible.

[vincentporte]

@nvallas , je viens de pusher le script de collect : collect.ipynb
bon, il est pas super clean (c'est peut etre pour çà que je n'avais pas assumé de le mettre dans github 😆 ) mais si ça peut aider …