Souk

Téléchargement

Téléchargement de l'application

Vous pouvez récupérer les sources de la dernière version :

• soit en utilisant  Mercurial : hg clone http://hg.infos-pratiques.org/souk
• soit en naviguant dans  l'interface web du dépôt Mercurial
• soit en récupérant une archive ("snapshot") depuis cette même interface web.

Téléchargement des données

Souk utilise pour ses territoires les mêmes informations que Territoria.

Après avoir téléchargé les données territoria-source-data (cf installation de Territoria), faire :

cd territoria-source-data
export TERRITORIA_SOURCE_DATA=`pwd`
cd -

Récupérer les pages Wikipedia des communes. Soit en les récupérant depuis le  dépôt infos-pratiques.org :

hg clone http://hg.infos-pratiques.org/wikipedia-communes-de-france
cd wikipedia-communes-de-france
export WIKIPEDIA_DATA=`pwd`
cd -

Soit en les récupérant directement de Wikipedia (durée : une dizaine d'heures) :

mkdir wikipedia-communes-de-france
cd wikipedia-communes-de-france
export WIKIPEDIA_DATA=`pwd`
cd -
souk/scripts/download_wikipedia_communes.py -v ${WIKIPEDIA_DATA}

Installation et configuration

Installation et configuration de l'application

cd souk
sudo python setup.py install
cd ..

Modifier le fichier de configuration development.ini en fonction de votre configuration.

Création et initialisation des données

Les données de Souk sont stockées sous forme de fichiers.

Ces fichiers sont généralements en syntaxe  Python. De manière générale un fichier Python contient un et un seul object Souk.

La base de données est utilisée uniquement pour indexer les fichiers contenant les données. Elle ne sert pas à stocker d'informations.

Initialisation de la base de données

Créer la base :

su - postgres
createuser -P souk
createdb --owner souk souk
exit

Créer les tables :

cd souk
paster setup-app development.ini

Initialisation des données à partir de l'ensemble des fichiers sources

Initialisation des données sur les territoires

Il faut lancer un script pour chaque type de données à importer.

Importer les données territoriales provenant de l'INSEE (communes, cantons, arrondissements, départements et régions) :

souk/scripts/import_insee_code_officiel_geographique.py development.ini ${TERRITORIA_SOURCE_DATA}/insee/code-officiel-geographique/

Importer les données de l'INSEE sur la population des communes :

souk/scripts/import_insee_population.py development.ini ${TERRITORIA_SOURCE_DATA}/insee/population-et-logements-par-commune/

Importer les données territoriales provenant de l'Observatoire des territoires (aires urbaines, intercommunalités, communes littorales, communes de massifs montagneux, pays, parcs naturels régionaux et périmètres de transports urbains) :

souk/scripts/import_observatoire_des_territoires_aires_urbaines.py development.ini ${TERRITORIA_SOURCE_DATA}/observatoire-des-territoires/data_aire_urbaine.csv
souk/scripts/import_observatoire_des_territoires_epci.py development.ini ${TERRITORIA_SOURCE_DATA}/observatoire-des-territoires/data_epci.csv
souk/scripts/import_observatoire_des_territoires_littoraux.py development.ini ${TERRITORIA_SOURCE_DATA}/observatoire-des-territoires/data_loi_littoral.csv
souk/scripts/import_observatoire_des_territoires_massifs.py development.ini ${TERRITORIA_SOURCE_DATA}/observatoire-des-territoires/data_perimetre_massif.csv
souk/scripts/import_observatoire_des_territoires_pays.py development.ini ${TERRITORIA_SOURCE_DATA}/observatoire-des-territoires/data_pays.csv
souk/scripts/import_observatoire_des_territoires_parcs_naturels_regionaux.py development.ini ${TERRITORIA_SOURCE_DATA}/observatoire-des-territoires/data_pnr.csv
souk/scripts/import_observatoire_des_territoires_perimetres_transports_urbains.py development.ini ${TERRITORIA_SOURCE_DATA}/observatoire-des-territoires/data_ptu.csv

Indexer les données importées ci-dessus :

souk/scripts/reindex.py --all --kind Item development.ini

Calculer la population cumulée des différents territoires français à partir de la population des communes, puis l'indexer :

souk/scripts/compute_aggregated_population.py development.ini
souk/scripts/reindex.py --statements --kind Territory development.ini

Initialiser les mairies d'après les communes, puis les indexer :

souk/scripts/init_town_halls.py development.ini
souk/scripts/reindex.py --all --kind TownHallOfFrance development.ini

Importer le fichier des codes postaux provenant de Jérôme Galichon, puis indexer ceux-ci :

souk/scripts/import_galichon_codes_postaux.py development.ini ${TERRITORIA_SOURCE_DATA}/galichon/codes-postaux/insee.csv
souk/scripts/reindex.py --statements --text --kind AbstractCommuneOfFrance development.ini

Importer les données des pages de Wikipedia pour chaque commune française :

souk/scripts/import_wikipedia_comnunes.py development.ini ${WIKIPEDIA_DATA}
souk/scripts/reindex.py --statements --text --kind AbstractCommuneOfFrance --kind TownHallOfFrance development.ini

Plus d'informations

Pour plus d'informations, vous pouvez consulter et/ou participer à la liste de diffusion Infos-Pratiques.