xml-dblp

Projet XML : TP SAX

Arthur Brandao & Maxence Bacquet - M2 ILI

Programme pour interroger la base de données DBLP au format XML.

Documentation des commandes

La documentation suivante pars du principe qu'un terminal est ouvert dans le dossier du projet et que nodejs est installée (version >= 10.12.0, le projet a été testé avec la version 12.13.0).

Pour installer les dépendances il suffit d'utiliser la commande suivante dans le repertoire du projet :

npm i

De plus l'utilisation des commandes avec npm génère automatiquement des informations dans la sortie standard, comme ci-dessous :

> projet-dblp@2.0.1 start /home/arthur/TP/M2-S1/xml/projet-dblp
> node main.js

Pour éviter l'affichage de ces informations dans la console il est possible d'utiliser l'option silent juste après la commande npm (voir les exemples ci-dessous).

npm --silent start
npm --silent run test

Partie 0 - Paramétrage et Déploiement

Le projet est composé de plusieurs programmes avec la même base. Pour exécuter les scripts propres à chaque programme il faut utiliser la commande npm suivante :

npm start <program> [script]
# Par exemple
npm start extract
npm start coauth test

Ou directement avec Node Js :

node main.js <program> [script]
# Par exemple
node main.js extract
node main.js coauth test

Si aucun script n'est spécifié le programme est appelé directement sans argument.

Pour séparer chaque programme en un ensemble de fichier indépendant il faut lancer la commande :

npm run deploy

Un dossier sera créé avec le nom de chaque programme dans le dossier dist (si il n'existe pas il sera créé).

Chaque dossier comportera ses sources, son package.json et son README.md.

Le paramétrage des différents projets (les scripts, la version, les dépendances, ...) sont paramétrables depuis le fichier deploy.json

Partie 1 - Recherche des co-auteurs d'un auteur

L'objectif du programme est de trouver les co-auteurs d'un auteur donné. Le programme possède deux fonctions, la première permet de faire un pré-traitement de la base dans un fichier .ppf (Pre Processing File), le second permet d'effectuer la recherche depuis le fichier obtenu suite au pré-traitement ou depuis.

Commande de recherche des co-auteurs sans pré-traitement

La commande de base pour la recherche des co-auteurs sans pré-traitement est la suivante :

node coauth.js -p <source>

L'option -p <source> ou --process <source>permet d'effectuer une recherche des co-auteurs sans faire d'abord un pré-traitement. <source> correspond au chemin vers le fichier de base de données en XML.

Il est possible d'utiliser l'option -n <string> ou --name <string> ou --name=<string> pour indiquer le nom de l'auteur pour la recherche. Si l'option est absente le nom est demandé dans la console.

Voici quelques exemples expliqués de la commande avec l'option process :

# Lance le pré-traitement sur le fichier ./data/dblp.xml, génere le fichier ./data/data.ppf et le nom de l'auteur pour la recherche est demandé dans la console
node coauth.js --process ./data/dblp.xml

# Lance le pré-traitement sur le fichier ./data/dblp.xml, génere le fichier ./data/data.ppf et fait la recherche sur Fabien Delorme
node coauth.js -p ./data/dblp.xml -n "Fabien Delorme"

Une commande avec npm est aussi disponible, elle est équivalente à la commande en dessous d'elle. Le nom de l'auteur pour la recherche est demandé dans la console lors de l'execution.

npm run process
# <=>
node coauth.js --process ./data/dblp.xml

Commande de pré-traitement de la base

Cette commande permet de générer un fichier .ppf (si aucune destination n'est indiquée le chemin vers le fichier seras le suivant : ./data/data.ppf)

La commande est :

node coauth.js prepare <source> [destination]

• <source> : correspond au chemin vers la base de données au format xml
• [destination] : Le chemin et le nom du fichier .ppf à créer suite au pré-traitement de la base de données (si l'extension n'est pas .pff elle seras automatiquement ajoutée), cet argument est optionel

Une commande npm est aussi disponible, elle est l'équivalent de la commande en dessous d'elle :

npm run preprocess
# <=>
node coauth.js prepare ./data/dblp.xml ./data/data.ppf

Commande de recherche des co-auteurs

La commande de base pour la recherche des co-autheurs est la suivante :

node coauth.js

Avec cette commande le programme considère que le fichier .ppf est dans ./data/data.ppf. Le nom de l'auteur dont il faut chercher les co-auteurs seras demandé par le programme dans la console.

La commande admet plusieurs options :

• -n <string> ou --name <string> ou --name=<string> : Pour indiquer le nom de l'auteur pour la recherche
• -f <source> ou --file <source> ou --file=<source> : Pour indiquer le chemin vers le fichier .ppf à utiliser
• -v ou --verbose : Permet d'afficher plus d'informations dans la console
• -h ou --help : Affiche l'aide
• -V ou --version : Affiche la version du programme

Voici quelques exemples avec des options :

node coauth.js -n "Fabien Delorme"
node coauth.js --name="Anne-Cécile Caron" -f "./data/data.ppf"
node coauth.js --name "Francis Bossut" --file "./tmp/coauth.ppf" -v

Le retour du programme sans l'option verbose est similaire au retour du programme de reference fournit. Attention la recherche sur le nom est sensible à la casse.

Il existe aussi une commande npm pour executer le programme, elle est équivalente à la commande en dessous d'elle :

npm start
# <=>
node coauth.js -f "./data/data.ppf"

Temps d'exécution

Les temps d'executions des commandes sur nos PC sont de :

	Ubuntu (I7-8550U)	Kubuntu (I5-7300HQ)	Kde Neon (I7-8550U)
Référence (Total)	~ 4 minutes 20	~ 2 minutes 30	~ 2 minutes 30
Préparation	~ 3 minutes 20	~ 2 minutes	~ 1 minute 45
Recherche	4 à 6 secondes	5 à 10 secondes	3 à 5 secondes

Partie 2 - Extraction de données d'un auteur

L'objectif du programme est de générer un document XML avec les infos extraites des articles et des inproceedings d'un auteur donné dans la base de données DBLP au format XML. Le document comporte aussi une section avec tous les co-auteurs de l'auteur donné dans les données extraites.

Commande d'extraction des données

La commande pour extraire les données de la base est la suivante (en dessous son équivalent avec npm) :

node extract.js
# <=>
npm start

Par défaut le programme va chercher le fichier XML de la base dans le dossier data avec le nom dblp.xml et créer un fichier extract.xml dans ce même dossier. Le nom de l'auteur sera demandé dans la console avant de lancer la recherche.

Le programme possède plusieurs options :

• -n <string> ou --name <string> ou --name=<string> : Pour indiquer le nom de l'auteur pour la recherche
• -f <source> ou --file <string> ou --file=<string> : Pour indiquer le chemin vers le fichier de la base (en XML)
• -o <source> ou --output <string> ou --output=<string> : Pour indiquer le chemin pour la création du fichier contenant les données de l'extraction (en XML)
• -v ou --verbose : Permet d'afficher plus d'informations dans la console
• -h ou --help : Affiche l'aide
• -V ou --version : Affiche la version du programme

Voici quelques exemples et leur explication de la commande avec ces options :

# Recherche les informations sur Fabien Delorme dans la base ./data/dblp.xml et extrait les informations dans ./data/extract.xml
node extract.js --name "Fabien Delorme"

# Recherche les informations sur Fabien Delorme dans la base ./data/dblp.xml et extrait les informations dans ./data/fabienDelorme.xml
node extract.js --name="Fabien Delorme" --output "./data/fabienDelorme.xml"

# Recherche les informations sur Fabien Delorme dans la base ./data/base.xml et extrait les informations dans ./data/extract.xml
node extract.js -n "Fabien Delorme" -o "./data/fabienDelorme.xml" -f "./data/base.xml"

# Recherche les informations sur Fabien Delorme dans la base ./data/base.xml et extrait les informations dans ./data/extract.xml et affiche des informations sur l'exécution
node extract.js -n "Fabien Delorme" -o "./data/fabienDelorme.xml" -f "./data/base.xml" -v

Temps d'exécution

	Ubuntu (I7-8550U)	Kubuntu (I5-7300HQ)	KDE Neon (I7-8550U)
Extraction	~ 1 minute 20	50 à 70 secondes	45 à 50 secondes

Partie 3 - Transformation en HTML

Pour convertir le document xml extrait en un fichier html il suffit d'utiliser la commande suivante (ou son équivalent avec npm) :

xsltproc -o out.html convert.xsl ./data/extract.xml
# <=>
npm run xslt

La fichier est crée dans le dossier data sous le nom de extract.html en utilisant la commande npm