Jean-Paul's place on the Internet

Wow...

Nous voilà à quelques semaines seulement de l'événement PostgreSQL majeur en France cette année... Pour ceux qui n'auraient pas tout suivi: foncez sur le site du pgDay.

Ça discute (le serveur qui héberge la liste de diffusion chauffe à blanc...), ça se réunit, ça s'agite... Mais je suis persuadé que cette journée dédiée à PostgreSQL, organisée par PostgreSQLFr sera un franc succès. Je suis en charge du programme, et il est vraiment alléchant. J'arrive un peu tard sur le projet, j'ai hélas été surchargé de travail jusqu'à mes congés d'août... Qu'à cela ne tienne, je mettrai les bouchées doubles en septembre. Et puis Stéphane (en particulier, mais pas seulement) a fait un super boulot pour la collecte et le classement des propositions de conférences reçues, suite au call for papers que l'on avait fait passer un peu partout.

Ce qui est notable c'est que peu de membres de PostgreSQLFr présentent une conférence. En effet, des utilisateurs français se sont portés volontaires et nous ont amené des présentations avec des sujets très intéressants, comme des retours d'expérience, un point sur PostGIS, et d'autres.

Bref... Beaucoup de boulot pour nous tous. Surtout dans les 3 semaines à venir, où ça risque d'être très intense!

Enfin, nous regrettons tous que notre ami Cédric soit cloué au lit avec une mauvaise fracture (de la vertèbre D6), on lui souhaite un prompt rétablissement. Dommage, étant Toulousain, ce membre éminent de PostgreSQLFr était un atout certain pour l'organisation. Du coup, Jean-Christophe se retrouve avec un peu plus de responsabilités sur le sujet... Sale coup pour nous tous. Mais rassurez-vous, Cédric va bien, je l'ai régulièrement au téléphone. C'est juste une affaire de temps, il sera sur pied d'ici quelques semaines.

Hop,

Je suis arrivé hier aux RMLL 2008, après environ 6h de route, assez fatigué.

J'y ai retrouvé avec plaisir les membres éminents de PostgreSQLFr. Pas moins de 6 personnes sur le stand cette année. "Autant dire qu'on a assurés" comme dit Guillaume! Côté goodies, l'asso a fait fort encore une fois: chemises, tshirts, pins, stickers, flyiers, brochures, cartes de visite, etc... Vraiment sympa! Plusieurs enfants se sont arrêtés sur le stand pour compléter leur collec'...

- Dis monsieur, pourquoi tu a choisi l'éléphant ?

- Bah tu vois, l'éléphant il a une graaaaande mémoire, et le logiciel qu'on présente aux gens, ça permet de se souvenir de tout plein de petits détails, et de trifouiller dedans.... tu as compris?

- euh... OUI! tu me donnes un autocollant?

Côté visiteurs, c'est assez décevant. Si on devait comparer avec Solutions Linux, je dirais qu'on a environ 10 fois moins de visiteurs. Peut-être est-ce le lieu (c'est quand même pas à côté de ... de rien en fait), peut-être la date (c'est l'été, la plage...). Sûrement les deux, à mon avis. Il y a aussi le fait que c'est "dilué" dans le temps: ça dure tout de même 6 jours d'affilée, contre 3 à Paris.

Il y a aussi le fait que certaines conférences sont à la CCI de Mont de Marsan, et nous, nous sommes à l'IUT, ... à l'autre bout de la ville pour ceux qui la connaissent. Pas évident pour que ceux qui assistent aux confs à la CCI fassent un tour au village associatif, et vice-versa.

Côté organisation, c'est impeccable. Il y a à boire frais pour pas cher (1€ le coca), ce qui est appréciable, tant la chaleur dans l'énorme tente où se trouve le village des assos commence à être importante. Tout est indiqué depuis le centre ville, la gare, etc. Le wifi marche très bien, la bande passante, bien qu'insuffisante, reste acceptable pour un évènement comme celui-là, avec plusieurs dizaines, voire centaines, de portables connectés en Wifi... en tout cas, c'est largement mieux qu'à Solutions Linux.

Les conférences sont de très bonne qualité, nous avons eu la visite de plusieurs stars du Libre, dont Richard Stallman himself, et aussi la visite de politiques, comme Henri Emmanuelli, député des Landes et surtout président du conseil général des Landes. De ce que j'ai compris, l'appui des collectivités locales a été déterminant pour cette édition des RMLL.

Alors? Suis-je globalement satisfait?

On peut dire que oui, même si je pense que le village manque vraiment de têtes neuves: on reste entre libristes aux RMLL, en gros. Non pas que ça ne soit pas agréable, mais je regrette que le "grand public" soit globalement absent.

Mais on reviendra de toute façon... L'association a pu avancer à pas de géant ces derniers jours: lors des repas-type du sud-ouest, on parle des pgDay (4 octobre 2008 à toulouse!) et des autres actions de l'association. Et on se retrouve, aussi.

Rien que ça, ça vaut 6h de route et 3 jours...

Hop,

Avec un jour de retard et un billet à revoir de toute façon (celui sur le day3), j'attaque quand même la description du 4ième et dernier jour de pgCon (soit le 2ième et dernier jour des conférences "publiques").

Encore une fois, le programme était exceptionnel, bien qu'un poil moins chargé que celui de la veille (début à 10h au lieu de 9h, fin à 17h au lieu de 18h30..).

Voici les quelques choses que j'ai à dire sur les conférences auxquelles j'ai assité...

PostGIS, Frank Warmerdam

La conférence a été menée avec un bon rythme. Frank a couvert à peu près tous les aspects de PostGIS, mais c'est peut-être un peu trop éternisé sur les types de données géométriques, les objets qu'on peut stocker, etc. J'aurais préféré pour ma part peut-être un cas précis d'utilisation de PostGIS plutôt qu'une présentation comme il l'a fait. À vous de lire ses slides et de vous faire un avis?

À sa décharge, il a quand même répondu à une foule de questions techniques précises de manière complète et détaillée. J'ai noté un vif intérêt des core-hackers et des hackers, de manière générale, pour PostGIS. Il m'a semblé notamment que Tom Lane avait un intérêt certain pour ce projet.

Il faut avouer que ce qu'ils arrivent à faire avec PostGIS est d'un niveau professionnel et n'a pas grand chose à envier aux plus grand. Cette étude de cas de l'IGN est là pour le démontrer (s'il le fallait, pour les sceptiques!).

J'ai même noté une phrase de Frank: «Par rapport à la création d'un index sous Oracle Spatial, la création d'un index c'est vraiment de la rigolade, et ça marche tout le temps très bien... Ceux qui connaissent Oracle Spatial savent comment c'est pénible à faire». Loin de moi l'idée de faire de la désinformation sur le sujet, je ne connais pas Oracle Spatial... Par contre, sous PostGIS, c'est effectivement un simple create index sur une colonne de type géométrique, en utilisant un index GIST.

Listen/Notify improvements, Andrew Dunstan

Andrew a présenté le projet sur lequel il travaille actuellement dans cette présentation Il s'agit de récrire complètement le mécanisme de LISTEN/NOTIFY dans PostgreSQL.

Cette fonctionnalité est, comme les autres, très bien décrite dans la doc de PostgreSQL sur le sujet.

Retenez bien que cela permet d'avoir 1 à n clients qui attendent un évènement de manière complètement asynchrone, qui est lancé par un seul autre client. Cela permet en particulier d'organiser de manière simple des mécanismes de type programmation de travaux (job scheduling), d'avoir une coordination facile de traitements dans une base de données, etc.

Notez bien que ce patch va faire qu'à partir de la version 8.4 on devrait voir disparaître la table pg_listener.. Mais pas d'inquiétudes, vos applications actuelles ne nécessiteront que peut d'évolutions pour continuer à fonctionner.

Il n'y aura en effet plus de table système pour gérer cela, tout sera désormais fait en mémoire. On y gagnera beaucoup:

• la garantie que tous les évènements seront délivrés à tous les clients qui l'attendent (il y a certains cas actuellement où cela ne fonctionne en effet pas exactement comme cela);
• on pourra ajouter un message dans les notify. Comme par exemple "NOTIFY client1 'batch57 terminé!'";
• tout cela devrait être beaucoup plus rapide;
• en revanche, il y a un cas bloquant si les buffers pour LISTEN/NOTIFY sont mal taillés (trop petits) ou si les LISTENERs sont trop lents.

Bref, que du bon! Merci Andrew :-)

plProxy, pgBouncer, pgBalancer, Asko Oja

Asko a présenté en détails l'utilisation de plProxy dans cette session, qui permet de scinder de très larges bases de données dans plusieurs autres bases. C'est à dire, si votre base users est large au point qu'elle ne tiendrait plus sur un serveur entier, plProxy est une solution pour vous, dans la mesure où vous pourrez partitionner cette table (ou base) sur plusieurs serveurs, en faisant des data slices...

Comme Skype est un très gros utilisateur de PostgreSQL (mais si! Vous le saviez depuis leur présentation à Toronto en 2006, non?), ils contribuent beaucoup au projet. En fait, ils ont développés leurs propres outils pour cela.

Il y a dans le lot aussi l'excellent pgBouncer qui est un pool de connexions qu'on ne présente plus, et les très bons Skype tools...

Notez que les Skype tools contiennent, entre autres, Londiste. Si le sujet vous intéresse, Dimitri Fontaine a même écrit un tutoriel sur le sujet!

PgQ, Marko Kreen

Marko (qui est aussi chez Skype, et qui est aussi le "chef" d'Asko) a présenté PgQ en long, en large et en travers. Au final, il en résulte que PgQ est un excellent moyen de gérer des queues dans PostgreSQL. Je vous laisse le soin de lire sa présentation. Attention, il s'agit bien juste d'un mécanisme, d'une implémentation des queues dans PostgreSQL. Elles sont ensuite utilisables dans plusieurs contextes, ce qu'a présenté Marko.

A voir un gars aussi brillant, je ne m'étonne pas que Skype ait progressé aussi rapidement. À en croire ce qu'on m'a dit lors du pgCon, Marko était au début le seul "codeur" chez Skype. À prendre avec des pincettes... Si certains d'entre vous on un pointeur sur le net sur le sujet, je suis preneur. Mais à vrai dire, ça ne m'étonnerait pas du tout. J'ai pu voir l'ensemble de l'équipe de Marko à pgCon (dont Asko), j'ai pu compter 5 ou 6 gars dans la "Skype DBA Team". Tous des tueurs, à mon avis!

Bucardo, Greg Sabino Mullane

Dans cette présentation, j'ai pu me rendre compte de ce qu'est Bucardo, mais aussi, et surtout en fait, ce qu'il n'est pas. Par "multi-master replication", il faut comprendre "réplication entre deux maîtres seulement". Et pas plus.

Ça ne permet pas non plus de faire des sets de réplication comme on pourrait le faire avec Slony-I par exemple. Ça ne prends pas non plus en charge les séquences (c'est à dire si votre table est du type "create table toto (id serial,...", vous oubliez..).

Pas la peine de dire que ça m'a un peu déçu, je n'imaginais pas ça comme ça.

En revanche, le système semble très robuste et est en production depuis plusieurs années à présent pour l'un des clients de la société à laquelle Greg appartient. Tant mieux!

Tous ceux qui se sont confrontés un jour à la problématique de la réplication Maître/Maître savent bien que c'est loin d'être trivial, enfin, à partir du moment où il y a plus de deux noeuds...

Closing Session, Dan Langille

Dan nous a dit au revoir, et merci pour tout le poisson. Je m'attendais à qu'on soit 42 à la session, en fait, on était tous là jusqu'à la fin!!!

Conclusion

Si vous ne savez pas quoi faire en mai 2009, eh bien c'est dommage, moi je sais que je serai là l'année prochaine: très haut niveau, intervenants excellents, excellente ambiance, un grand nombre de hackers présents, bref, un évènement incontournable pour tous les passionnés de PostgreSQL !!!

Deuxième jour...

Un premier tutoriel ce matin "Materialized Views that Really Work", où Dan Chak a expliqué comment obtenir des gains substantiels dans l'exécution de requêtes, grâce à la matérialisation des vues... Jehan-Guillaume a assisté à la conférence, je lui demanderai son avis.. Et surtout, qu'il nous explique comment Dan arrive à contourner l'absence de cette feature dans PostgreSQL. Je ne serais pas étonné pour ma part de voir cette fonctionnalité ajoutée d'ici quelques versions de PostgreSQL...

Le deuxième turoriel, cet après-midi, "Porting Oracle Applications to PostgreSQL", a été assuré par Peter Eisentraut. Il a expliqué dans sa présentation téléchargeable comment migrer les bases Oracle à PostgreSQL. Rien de neuf sous le soleil à mon avis, ceux qui ont été confrontés à cette problématique auront trouvé la plupart des pistes. Par contre, si vous envisagez de migrer votre base Oracle à PostgreSQL, ce document peut-être un excellent point de départ. N'oubliez pas l'outil ora2Pg développé par Gilles Darold du SAMSE(.fr). Nous l'avions présenté à solutions linux 2005: voir ce PDF. La toute dernière version d'ora2pg est disponible ici.

Côté "socialization", ce soir, nous avons eu droit à quelques verres offerts par Yahoo. Ça a été l'occasion pour nous de rencontrer encore plein de nouvelles têtes, et d'en revoir tout plein d'autres. Pour ma part, j'ai eu des discussions très sympathiques avec Selena qui est la responsable de http://pugs.postgresql.org... Elle aussi a été interviewée par le groupe PostgreSQL Pérou, comme moi! J'ai hâte d'entendre son podcast!

J'ai pu aussi rencontrer Michael Meskes, l'auteur et mainteneur d'ECPG (besoin d'un petit tuto sur ECPG?), et aussi patron de credativ. Cela faisait plusieurs années que j'avais des échanges de mails avec lui sur ECPG, sans jamais l'avoir vu :-)

J'ai revu aussi avec plaisir l'auteur de pgpool, Tatsuo Ishii. Au sujet des pool de connections, je vous recommande la lecture de l'article de Guillaume Lelarge sur dalibo.org.

Quant à la Poutinka, ça attendra demain, nous étions vraiment tous trop fatigués...

À suivre!