wiki:CosmeticVosDroits

Cosmetic-Vos-Droits

Cosmetic-Vos-Droits est le module de Cosmetic qui télécharge les fichiers XML "Vos droits" de Service-public.fr et les convertit en pages HTML.

Licence et copyright

Cosmetic-Vos-Droits est un logiciel libre sous licence GNU Affero General Public License version 3 ou supérieure.

Copyright © 2008, 2009 Easter-eggs

Téléchargement

Vous pouvez récupérer les sources de la dernière version :

Attention : L'application Cosmetic-Vos-Droits évolue fréquemment pour s'adapter aux changements qui surviennent dans les fichiers XML. Il est donc nécessaire de la mettre à jour régulièrement, de préférence quotidiennement.

Installation

Cosmetic-Vos-Droits dépend des logiciels suivants, qui doivent être installés séparément :

Pour connaître la liste précise des dépendances, ainsi que les versions nécessaires, consulter le fichier setup.py (variable install_requires notamment).

Après avoir téléchargé les sources et installé les logiciels ci-dessus, l'installation de Cosmetic-Vos-Droits se fait de la manière suivante :

cd cosmetic-vos-droits
sudo ./setup.py install

Utilisation

Attention: Les traitements énumérés ci-dessous doivent être effectués quotidiennement, afin que les fichiers HTML produits par Cosmetic soient à jour.

Téléchargement des fichiers XML "Vos droits"

Note : Pour pouvoir télécharger les fichiers XML, vous devez signer une convention avec la Documentation française, dans le cadre du comarquage de Service-public.fr.

Création d'un répertoire destiné à recevoir les fichiers XML :

mkdir vos-droits-xml
cd vos-droits-xml
export VOS_DROITS_XML_PATH=`pwd`
cd -

Téléchargement des fichiers :

python -m cosmetic2.vosdroits.scripts.download_vos_droits ${VOS_DROITS_XML_PATH}

Note : Si le script précédent échoue avec une erreur 403 Forbidden, cela signifie que l'adresse IP de votre ordinateur n'est pas acceptée par le serveur de la Documentation française. Pour plus d'informations, reportez-vous aux informations techniques du co-marquage avec Service-public.fr.

Récupération des thèmes et raccourcis de la page principale pour les particuliers

Le fichier XML de la page principale pour les particuliers (appelée N0) contient uniquement la liste des thèmes, sans les raccourcis vers les fiches les plus fréquentes de chaque thème. Cosmetic dispose donc d'un script pour extraire les thèmes et les raccourcis directement depuis la page web de Service-public.fr :

python -m cosmetic2.vosdroits.scripts.download_vos_droits_n0_themes ${VOS_DROITS_XML_PATH}

Récupération du bloc "Focus sur"

La page principale de Service-public.fr affiche un bloc "Focus sur" mettant en valeur des actualités importantes.

Ce bloc n'est pas fourni dans les fichiers XML. Pour pouvoir l'afficher, Cosmetic le récupère directement sur le site web :

python -m cosmetic2.vosdroits.scripts.download_vos_droits_focus ${VOS_DROITS_XML_PATH}

Récupération du bloc des services en ligne et formulaires les plus demandés

La page principale de Service-public.fr affiche un bloc mettant en valeur certains services en lignes et formulaires.

Ce bloc n'est pas fourni dans les fichiers XML. Pour pouvoir l'afficher, Cosmetic le récupère directement sur le site web :

python -m cosmetic2.vosdroits.scripts.download_vos_droits_frequent_online_services ${VOS_DROITS_XML_PATH}

Récupération du bloc des mots-clés

Le bloc "Mots-clés" contenant les recherches les plus fréquentes faites sur Service-public.fr n'est pas fourni dans les fichiers XML. Pour pouvoir l'afficher, Cosmetic le récupère directement sur le site web :

python -m cosmetic2.vosdroits.scripts.download_vos_droits_frequent_search_queries ${VOS_DROITS_XML_PATH}

Conversion des fichiers XML en HTML

Cette étape, la plus importante de Cosmetic-Vos-Droits, consiste à convertir les fichiers XML en fichiers HTML valides et sémantiques. Les fichiers HTML produits sont "nus" : ils contiennent toutes les informations importantes figurant dans les fichiers XML, mais sans aucune information de mise en forme (pas de CSS), ni de JavaScript?, ni de contenu local.

Avant de convertir les fichiers, il est nécessaire de créer un répertoire destiné à contenir les fichiers HTML :

mkdir vos-droits-html
cd vos-droits-html
export VOS_DROITS_HTML_PATH=`pwd`
cd -

La conversion proprement dite peut alors être lancée :

python -m cosmetic2.vosdroits.scripts.convert_vos_droits_xml_v2_to_html ${VOS_DROITS_XML_PATH} ${VOS_DROITS_HTML_PATH}

Génération de la liste des dossiers

Pour pouvoir proposer une page recensant tous les dossiers, comme le fait Service-public.fr, Cosmetic-Web-Front doit rechercher tous les dossiers parmi les pages HTML et construire cette page :

python -m cosmetic2.vosdroits.scripts.build_vos_droits_folders_index ${VOS_DROITS_HTML_PATH}

Génération de la liste des 200 mots-clés les plus fréquents

La liste des 200 mots-clés les plus demandés n'est pas fournie dans les fichiers XML. Pour pouvoir la construire, Cosmetic la récupère directement sur Service-public.fr:

python -m cosmetic2.vosdroits.scripts.build_vos_droits_keywords_index ${VOS_DROITS_HTML_PATH}

Résultat

Une fois toutes ses étapes terminées vous obtenez une arborescence de fichiers HTML, auxquels il manque encore :

  • la personnalisation finale (suppression des blocs superflus, ajout des fils d'actualité, etc)
  • la mise en page et les CSS
  • le moteur de recherche
  • le mécanisme de redirection pour les pages supprimées
  • etc

Tous ces traitements sont faits dans Cosmetic-Web-Front, module d'affichage des pages web.

Plus d'informations

Pour plus d'informations, vous pouvez consulter et/ou participer à la liste de diffusion Infos-Pratiques.

Last modified 8 years ago Last modified on Nov 20, 2009, 3:13:58 PM