Jean-Paul's place on the Internet

Aller au contenu | Aller au menu | Aller à la recherche

vendredi 17 octobre 2008

Prato pgDay Europe 2008 - day 0

Day 0

Après 7h de route, nous (Damien et moi) voilà enfin arrivés à Prato. Alors que nous roulions en direction de notre hôtel, nous avons apperçu quelques hackers PostgreSQL que nous connaissons déjà depuis pas mal de temps: Dave Page et Magnus Hagander...

Une fois posées nos valises, nous sommes allé les rejoindre. ll y avait là quelques uns des hackers du projet. Pour faire simple, "à peine" une 20aine d'entre eux :-)

Nous nous sommes rafraîchis (non pas avec de l'eau, on parle de hackers hein), puis après nous avons mangé dans une pizzeria bien en vogue ici. De quoi me réconcilier avec la Pizza... Moi qui n'aime pas trop ça, il faut recconaître qu'ici c'est vraiment particulier. Sauraient-ils mieux les faire que d'autres? Aucun doute là dessus.

Ensuite, on s'est tous retrouvés au "PLUG BAR" en fait, c'est une maison d'associations de la ville, en bordure des remparts de la ville, au calme. Le Prato Linux User Group y a élu domicile, et la bière y est fraîche et bon marché...

De quoi discuter à nouveau avec plusieurs de nos amis hackers, et aussi l'équipe des DBA de Skype venue presque au complet (il manque juste Asko, retenu en Estonie pour une conférence qu'il donne sur PostgreSQL).

Vivement demain, le Day One :) ... L'enregistrement commence à 8h30, petit-déj à 8h00 et lever à 7h00...

Bah oui quoi, on n'est pas venu ici pour faire la grasse mat'...

Restez branchés, je compte faire un compte rendu journalier tous les soirs (nuits), comme j'avais fait pour le pgCon d'Ottawa. Il paraît que j'ai été lu ;)

À demaing,

vendredi 10 octobre 2008

PostgreSQL Day France 2008 : un réel succès!

WOW!!!!

C'est tout ce qui me vient à l'esprit au moment où j'ai enfin un peu de temps pour écrire ce qui a bien pu se passer samedi dernier à Toulouse...

La journée a été un franc succès, je crois que tous ceux qui y ont participé pourront en témoigner. Un énorme merci à nos intervenants, ils nous ont préparé des présentations de grande qualité. À ce sujet l'un des intervenants m'a confié, au sujet de nos relectures (Stéphane et moi): « Merci beaucoup pour vos relectures, on n'est vraiment pas habitué à avoir un retour de cette qualité sur les présentations! »... Tu m'étonnes... C'est qu'on le voulait de qualité notre PgDay, on y a travaillé pendant près de 3 semaines avec Stéphane! Bon évidement, pas à temps plein, nous avons pas mal de clients qui auraient râlé (fort) autrement !

Un grand merci à tous ceux qui ont participé de près ou de très loin à cette journée. Merci aux sponsors (;-) sans lesquels les participants n'auraient pas eu un sac de goodies aussi plein! (eh oui, il fallait être là, tant pis pour les absents...). Le repas de midi c'est vraiment bien déroulé aussi, le restaurant "Café à la une" à Toulouse nous avait préparé un buffet copieux et raffiné. Le petit vin du coin était pas mal aussi (hipss).

Ce que je retiendrai de la journée

PostgreSQL a le vent en poupe, c'est indéniable. Je suis à peu près persuadé que c'est d'ailleurs en France qu'il est le plus utilisé au niveau Européen. Voilà bientôt 4 ans que nous faisons tout ce qu'il faut pour que notre SGBD favori soit reconnu à sa juste valeur... Quand je repense à mes 4 pages HTML sur mon routeur OpenBSD à la maison et quand je vois ce que la communauté Francophone est devenue, je me dis, chapeau m'sieurs' dames...

Good and bad things

Bien sûr, c'était le 1er PGDay, donc pour le suivant, on fera les choses en plus grand, en plus beau et en plus fort... Il y a eu quelques ratés, dont un mémorable qui m'a valu le 1er rôle aux claquettes pendant qu'on fournissait à l'intervenant la toute dernière version de sa présentation. À vrai dire c'était ma faute :-) Mais bon à part ça, quelques petits trucs çà et là...

En contre-partie, on a fait bien beaucoup, beaucoup d'autres choses. Et là, sincèrement, je suis étonné qu'on ait vu aussi juste pour autant de choses...

Slides!!!

Enfin, je viens de mettre à jour la page du programme sur le site du PgDay: les présentations sont en ligne et bien sûr, téléchargeables (format PDF).

Bonne lecture !

(Mon petit doigt me dit que bientôt il y aura toutes les conférences disponibles en vidéo... mais chuut c'est pas pour tout de suite, les vidéos en sont au montage)

dimanche 25 mai 2008

pgCon Ottawa, day4

Hop,

Avec un jour de retard et un billet à revoir de toute façon (celui sur le day3), j'attaque quand même la description du 4ième et dernier jour de pgCon (soit le 2ième et dernier jour des conférences "publiques").

Encore une fois, le programme était exceptionnel, bien qu'un poil moins chargé que celui de la veille (début à 10h au lieu de 9h, fin à 17h au lieu de 18h30..).

Voici les quelques choses que j'ai à dire sur les conférences auxquelles j'ai assité...

PostGIS, Frank Warmerdam

La conférence a été menée avec un bon rythme. Frank a couvert à peu près tous les aspects de PostGIS, mais c'est peut-être un peu trop éternisé sur les types de données géométriques, les objets qu'on peut stocker, etc. J'aurais préféré pour ma part peut-être un cas précis d'utilisation de PostGIS plutôt qu'une présentation comme il l'a fait. À vous de lire ses slides et de vous faire un avis?

À sa décharge, il a quand même répondu à une foule de questions techniques précises de manière complète et détaillée. J'ai noté un vif intérêt des core-hackers et des hackers, de manière générale, pour PostGIS. Il m'a semblé notamment que Tom Lane avait un intérêt certain pour ce projet.

Il faut avouer que ce qu'ils arrivent à faire avec PostGIS est d'un niveau professionnel et n'a pas grand chose à envier aux plus grand. Cette étude de cas de l'IGN est là pour le démontrer (s'il le fallait, pour les sceptiques!).

J'ai même noté une phrase de Frank: «Par rapport à la création d'un index sous Oracle Spatial, la création d'un index c'est vraiment de la rigolade, et ça marche tout le temps très bien... Ceux qui connaissent Oracle Spatial savent comment c'est pénible à faire». Loin de moi l'idée de faire de la désinformation sur le sujet, je ne connais pas Oracle Spatial... Par contre, sous PostGIS, c'est effectivement un simple create index sur une colonne de type géométrique, en utilisant un index GIST.

Listen/Notify improvements, Andrew Dunstan

Andrew a présenté le projet sur lequel il travaille actuellement dans cette présentation Il s'agit de récrire complètement le mécanisme de LISTEN/NOTIFY dans PostgreSQL.

Cette fonctionnalité est, comme les autres, très bien décrite dans la doc de PostgreSQL sur le sujet.

Retenez bien que cela permet d'avoir 1 à n clients qui attendent un évènement de manière complètement asynchrone, qui est lancé par un seul autre client. Cela permet en particulier d'organiser de manière simple des mécanismes de type programmation de travaux (job scheduling), d'avoir une coordination facile de traitements dans une base de données, etc.

Notez bien que ce patch va faire qu'à partir de la version 8.4 on devrait voir disparaître la table pg_listener.. Mais pas d'inquiétudes, vos applications actuelles ne nécessiteront que peut d'évolutions pour continuer à fonctionner.

Il n'y aura en effet plus de table système pour gérer cela, tout sera désormais fait en mémoire. On y gagnera beaucoup:

  • la garantie que tous les évènements seront délivrés à tous les clients qui l'attendent (il y a certains cas actuellement où cela ne fonctionne en effet pas exactement comme cela);
  • on pourra ajouter un message dans les notify. Comme par exemple "NOTIFY client1 'batch57 terminé!'";
  • tout cela devrait être beaucoup plus rapide;
  • en revanche, il y a un cas bloquant si les buffers pour LISTEN/NOTIFY sont mal taillés (trop petits) ou si les LISTENERs sont trop lents.

Bref, que du bon! Merci Andrew :-)

plProxy, pgBouncer, pgBalancer, Asko Oja

Asko a présenté en détails l'utilisation de plProxy dans cette session, qui permet de scinder de très larges bases de données dans plusieurs autres bases. C'est à dire, si votre base users est large au point qu'elle ne tiendrait plus sur un serveur entier, plProxy est une solution pour vous, dans la mesure où vous pourrez partitionner cette table (ou base) sur plusieurs serveurs, en faisant des data slices...

Comme Skype est un très gros utilisateur de PostgreSQL (mais si! Vous le saviez depuis leur présentation à Toronto en 2006, non?), ils contribuent beaucoup au projet. En fait, ils ont développés leurs propres outils pour cela.

Il y a dans le lot aussi l'excellent pgBouncer qui est un pool de connexions qu'on ne présente plus, et les très bons Skype tools...

Notez que les Skype tools contiennent, entre autres, Londiste. Si le sujet vous intéresse, Dimitri Fontaine a même écrit un tutoriel sur le sujet!

PgQ, Marko Kreen

Marko (qui est aussi chez Skype, et qui est aussi le "chef" d'Asko) a présenté PgQ en long, en large et en travers. Au final, il en résulte que PgQ est un excellent moyen de gérer des queues dans PostgreSQL. Je vous laisse le soin de lire sa présentation. Attention, il s'agit bien juste d'un mécanisme, d'une implémentation des queues dans PostgreSQL. Elles sont ensuite utilisables dans plusieurs contextes, ce qu'a présenté Marko.

A voir un gars aussi brillant, je ne m'étonne pas que Skype ait progressé aussi rapidement. À en croire ce qu'on m'a dit lors du pgCon, Marko était au début le seul "codeur" chez Skype. À prendre avec des pincettes... Si certains d'entre vous on un pointeur sur le net sur le sujet, je suis preneur. Mais à vrai dire, ça ne m'étonnerait pas du tout. J'ai pu voir l'ensemble de l'équipe de Marko à pgCon (dont Asko), j'ai pu compter 5 ou 6 gars dans la "Skype DBA Team". Tous des tueurs, à mon avis!

Bucardo, Greg Sabino Mullane

Dans cette présentation, j'ai pu me rendre compte de ce qu'est Bucardo, mais aussi, et surtout en fait, ce qu'il n'est pas. Par "multi-master replication", il faut comprendre "réplication entre deux maîtres seulement". Et pas plus.

Ça ne permet pas non plus de faire des sets de réplication comme on pourrait le faire avec Slony-I par exemple. Ça ne prends pas non plus en charge les séquences (c'est à dire si votre table est du type "create table toto (id serial,...", vous oubliez..).

Pas la peine de dire que ça m'a un peu déçu, je n'imaginais pas ça comme ça.

En revanche, le système semble très robuste et est en production depuis plusieurs années à présent pour l'un des clients de la société à laquelle Greg appartient. Tant mieux!

Tous ceux qui se sont confrontés un jour à la problématique de la réplication Maître/Maître savent bien que c'est loin d'être trivial, enfin, à partir du moment où il y a plus de deux noeuds...

Closing Session, Dan Langille

Dan nous a dit au revoir, et merci pour tout le poisson. Je m'attendais à qu'on soit 42 à la session, en fait, on était tous là jusqu'à la fin!!!

Conclusion

Si vous ne savez pas quoi faire en mai 2009, eh bien c'est dommage, moi je sais que je serai là l'année prochaine: très haut niveau, intervenants excellents, excellente ambiance, un grand nombre de hackers présents, bref, un évènement incontournable pour tous les passionnés de PostgreSQL !!!

vendredi 23 mai 2008

pgCon Ottawa, day3

Wow!

Ce troisième jour de pgCon (en fait, premier jour des conférences "publiques", les deux premières journées étaient consacrées aux tutoriels) est un véritable succès!

J'ai eu beaucoup de mal à choisir les conférences auxquelles je voulais assister dans le programme de cette 1ère journée.

Mais il fallait bien faire des choix. Je vous commente ci-après chacun des tracks auxquels j'ai assisté:

Dan Langille, opening session

Dans nous a présenté assez rapidement les deux journées de pgCon 2008, en une demie-heure à peu près. C'était intéressant à plus d'un titre! Au niveau organisation, rien à dire, tout est vraiment bien pensé, mesuré, réfléchi... On voit qu'ils n'en sont pas à leur premier pgCon ici.

Bruce Momjian, opening session

Bruce a été une fois de plus un speaker hors normes. À l'aise en toutes circonstances, bourré d'humour... Il nous a présenté un talk intitulé PostgreSQL Path to the Future. En clair, l'avenir de PostgreSQL. Après nous avoir expliqué que le chemin est rarement droit pour arriver au but, il nous a démontré le bond énorme que le projet a connu en l'espace de 3 ans, soit de la version 8.0 à la version 8.3.

Il a dit, et nous sommes tous d'accord sur ce constat, qu'aujourd'hui nous rivalisons avec les plus grands en matière de bases de données: Oracle, IBM et Microsoft... Qui sont toutes les trois des entreprises qui pèsent plusieurs milliards de dollars... Tout ça en l'espace de 3 ans. Ça laisse rêveur pour les 3 années à venir.

PostgreSQL est souvent une base qui est adoptée parce qu'elle peut faire des choses "comme Oracle ou DB2" avec un coût de licences nul... Bruce a dit que c'était déjà énorme. Cependant, les core-hackers veulent que PostgreSQL dans le futur soit adopté parce que nous possédons des fonctionnalités que les autres n'ont pas. À mon avis, c'est déjà le cas avec la recherche plein texte (tsearch2). (Voir plus bas...)

Il au aussi dit que PostgreSQL sera la base Open Source que tout le monde utilise, comme Linux est devenu l'OS que tout le monde utilise sans trop se poser de questions...

Bref, que du bon, et dans la bonne humeur :-)

Andrew Sullivan "Idle thoughts"

Une conférence un peu curieuse.. Une espèce d'auto-critique du fonctionnement de la communauté. D'après Andrew, nous gagnerions à être plus organisés, à peut être revoir un peu les outils que nous utilisons, à préparer une ROADMAP sur plusieurs versions, et pour plusieurs années...

Il s'en est suivi une grosse discussion avec des intervenants tout aussi célèbres les uns que les autres: Josh Berkus, Peter Eisentraut, Heikki Linnakangas, Robert Treat, Bruce Momjian et Tom Lane, pour ne citer qu'eux ont échangés ensuite sur ces idées.

Ma conclusion à moi, c'est que la communauté est consciente de ces critiques et les accepte. Mais elle a aussi déjà pris ces problèmes à bras le corps, notamment avec l'arrivée du wiki des développeurs de PostgreSQL, qui est relativement fourni et bien à jour....

À suivre..

NB: je transformerai les références ci-dessus en liens cliquables plus tard, je suis pris par le temps..

Teodor Sigaev et Oleg Bartunov, "GIN Improvements"

Conférence classée de niveau "hacker"... et bin... c'était pas pour rien.. Au niveau mathématique, j'ai regretté d'avoir été si peu assidu au Lycée :-)

Cependant, les améliorations sur GIN (commandées par JFG Networks (Over-Blog), un *GRAND* merci à eux pour cette contribution), sont tout simplement bluffantes...

Comme d'habitude avec Teodor et Oleg, quand ils se penchent sur un problème de performances, il suffit qu'ils y travaillent un peu et les temps sont divisés par 10, 20, 100.... J'admire ces gars, sincèrement.

Leur expertise n'a d'ailleurs d'égal que leur gentillesse et leur disponibilité.

Susanne Ebrecht, "What PG could learn from MySQL"

Une conférence tout à fait inhabituelle, tant par le contenu que le ton donné. Amusant, il y a quelques critiques de PostgreSQL quand même dans cette conférence. Des idées que tout le monde comprend et accepte. Je détaillerai plus tard (reprise de mon post ce soir?!).

NTT, LogShipping Assynchronous

Où et comment faire de la réplication à pas cher :-).. Un serveur en standby, mais à jour par rapport au "maitre" à la transaction près au lieu d'être à jour au WAL près. Cela permet une récupération beaucoup plus rapide en cas de crash du maître, de ne pas avoir de soucis de "perte du dernier WAL qui n'aurait pas été transmis par archive_command"... ... et cerise sur le gâteau, le failover est automatique puisque tout cela est orchestré par Hearbeat.

Un *excellent* projet, Simon Riggs était ravi et m'a confié que "tant mieux, je n'ai pas eu à le coder, et ils ont fait exactement ce que je pensais faire".

Cependant, NTT n'a pas encore releasé le code, mais a promis de le faire. On verra bien. J'en connais qui vont être content parmis les utilisateurs professionnels de PostgreSQL !!!

__Pavan DELOLASEE, "Hot Inside, the technical architecture"_

Plus le temps de blogguer, les confs démarrent..... revenez plus tard dans la journée!

-> Conférence *ABSOLUMENT* parfaite, excellente, superbe... Bref...

Lightning Talks

tout plein de projets intéressants, et notament une présentation de pgPhpAdmin par notre grand ioguix national! J'ai nommé Jehan-Guillaume de Rorthais!!!

Pareil, je détaillerai un peu plus tard....

Bouffe EnterpriseDB le soir, au Velvet Café

150 personnes, très bonne bouffe, et surtout, un Open Bar ;-)

A+ je file en conf......

jeudi 22 mai 2008

pgCon Ottawa, day2

Deuxième jour...

Un premier tutoriel ce matin "Materialized Views that Really Work", où Dan Chak a expliqué comment obtenir des gains substantiels dans l'exécution de requêtes, grâce à la matérialisation des vues... Jehan-Guillaume a assisté à la conférence, je lui demanderai son avis.. Et surtout, qu'il nous explique comment Dan arrive à contourner l'absence de cette feature dans PostgreSQL. Je ne serais pas étonné pour ma part de voir cette fonctionnalité ajoutée d'ici quelques versions de PostgreSQL...

Le deuxième turoriel, cet après-midi, "Porting Oracle Applications to PostgreSQL", a été assuré par Peter Eisentraut. Il a expliqué dans sa présentation téléchargeable comment migrer les bases Oracle à PostgreSQL. Rien de neuf sous le soleil à mon avis, ceux qui ont été confrontés à cette problématique auront trouvé la plupart des pistes. Par contre, si vous envisagez de migrer votre base Oracle à PostgreSQL, ce document peut-être un excellent point de départ. N'oubliez pas l'outil ora2Pg développé par Gilles Darold du SAMSE(.fr). Nous l'avions présenté à solutions linux 2005: voir ce PDF. La toute dernière version d'ora2pg est disponible ici.

Côté "socialization", ce soir, nous avons eu droit à quelques verres offerts par Yahoo. Ça a été l'occasion pour nous de rencontrer encore plein de nouvelles têtes, et d'en revoir tout plein d'autres. Pour ma part, j'ai eu des discussions très sympathiques avec Selena qui est la responsable de http://pugs.postgresql.org... Elle aussi a été interviewée par le groupe PostgreSQL Pérou, comme moi! J'ai hâte d'entendre son podcast!

J'ai pu aussi rencontrer Michael Meskes, l'auteur et mainteneur d'ECPG (besoin d'un petit tuto sur ECPG?), et aussi patron de credativ. Cela faisait plusieurs années que j'avais des échanges de mails avec lui sur ECPG, sans jamais l'avoir vu :-)

J'ai revu aussi avec plaisir l'auteur de pgpool, Tatsuo Ishii. Au sujet des pool de connections, je vous recommande la lecture de l'article de Guillaume Lelarge sur dalibo.org.

Quant à la Poutinka, ça attendra demain, nous étions vraiment tous trop fatigués...

À suivre!

mercredi 21 mai 2008

pgCon Ottawa, day1

Youpi!

Une fois de plus, j'ai la chance d'être de l'autre côté de l'atlantique, à Ottawa cette fois. Je participe en effet au pgCon, en compagnie de Stéphane Schildknecht, notre bien aimé président de PostgreSQLFr, et Jehan-Guillaume de Rorthais qui collabore avec Robert Treat sur phpPgAdmin.

Lors du premier jour (hier), j'ai assisté au tutoriel de Josh Berkus "GUCs : a 3 hours tour. Comme d'habitude, Josh est un excellent orateur. Très technique, précis, à l'aise en toutes circonstances, et par dessus tout très drôle. Il nous a présenté les quelques 194 paramètres de configuration de PostgreSQL, d'une façon très didactique.

Il a présenté en particulier un nouveau fichier de configuration de PostgreSQL qui sera embarqué dans la version 8.4 de PostgreSQL. Il s'agit du fichier "postgresql.simple.conf". Celui-ci ne contiendra que les 14 clés les plus importantes du postgresql.conf. Chaque clé est dûment commentée, on y donne aussi des valeurs-types pour chacune d'entre elles. Bien sûr, l'utilisateur pourra y ajouter d'autres clés. Mais l'objectif est de concentrer les efforts du newbie sur les 14 clés les plus importantes, et de laisser les paramètres par défaut pour les autres clés.

Je pense que de nombreux utilisateurs de PostgreSQL on longtemps attendu ce type de fichier de configuration, tant j'entends et lit souvent "mais n'avez-vous pas des postgresql.conf type à nous proposer pour tel ou tel type de serveur?".

Je mettrai à jour ce post dès que j'aurais trouvé l'ensemble des fichiers de Josh sur internet. Non que je ne les possède pas (une clé usb a circulé dans l'assemblée avant le tutoriel), mais je ne suis pas sûr de la licence appliquée, tant j'ai vu tantôt des BSD, tantôt des ©Josh Berkus en licence Creative Commons, etc...

Le mieux, c'est que je lui demande aujourd'hui, entre deux tutoriels!

Du beau linge!

Ils y sont presque tous ici. La liste des gens présents serait trop longue à écrire ici, mais on peut dire que la quasi totalité des core-hackers et major hackers est présente à Ottawa cette semaine. C'est aussi la particularité de cette communauté: les stars sont accessibles. C'est comme cela que hier soir nous nous sommes retrouvés à boire un verre puis dîner avec Bruce Momjian, Tom Lane, Jan Wieck, Peter Eisentraut, Dave Page, Greg Stark, Heikki Linnakangas et une foultitude d'autres...

Je sors sur petit-déjeuner, où j'ai pu déguster les spécialités locales (de drôles de muffins) ou les subir (le café dilué dans l'eau), en compagnie d'Alvaro Herrera, Simon Riggs, Jan Wieck... Si tous ces noms ne vous disent rien, vous pouvez en savoir un peu plus sur eux en visitant la page des contributeurs sur postgresql.org.

J'attends ce soir pour goûter les vodkas ramenées directement de Russie par Teodor Sigaev...

Je ne vous promets pas de poster après, j'ai des doutes sur ma capacité à écrire quelque chose d'intelligible après un verre de putinka, oui oui.. même un seul verre.

vendredi 6 juillet 2007

I was at PG Day, in Prato (Italy)

Ah! What *great* days! Thanks to all PostgreSQL fans in Italy for this really big event. It's allways a pleasure to meet PostgreSQL fans like these!

As often we learnt many things and seen again with big pleasure very important members (vim.. lol) like Josh Berkus, David Fetter, Oleg Bartunov, Dave Page, Simon Riggs, and so many others! Thanks a lot to all Italian guys that worked so hard to make this happen. We love you!

Please take a look to the PG Day Web Site!

lundi 24 juillet 2006

Back from Toronto!

Thanks God, I was there ! I still think I dreamed it all... But yes, I saw and talked to yet everyone I wanted to for years !

Ah ! Another thing, we are now able to teach PostgreSQL at dalibo, we have wrotten many good trainings composed of presentations and practises (50% teaching, 50% real practise).

Just because we think a good DBA must have half of its knowledge from books and teaching, but the other half is all about practice...