Comments on: Déduplication : bloc fixe VS bloc variable

By: Nap

Nap — Mon, 15 Mar 2010 15:17:58 +0000

Bon j’ai réussi à tuner un peu le script en :
*bypassant le hash (et donc en évitant le brevet héhéhé), mais en mettant tout simplement les pages en mémoires au lieu du hash. La comparaison est un poil plus lente, mais vu qu’on n’a plus de hash, on y gagne.
*ne faisant la comparaison complète de du bloc que si ses 128 premiers octets étaient dans une seconde table remplie en même temps que la table principale. On perd en consommation mémoire, mais on booste le temps de comparaison.

Temps final : 4m39 pour dé-dupliquer 460Mo, soit 1.6Mo/s. Bon c’est lent soit, mais bon faut être pas clair si vous voulez un filesystem en Python aussi

By: Nap

Nap — Mon, 15 Mar 2010 13:08:57 +0000

Je vais essayer de le monter et de voir les gains entre lessfs et ZFS question déduplication/compression.

Tu sais si ZFS fait de la taille fixe ou variable? (Il me semble que c’est du fixe car il se base sur ton hash interne pour la corruption de données, donc taille fixe a priori).

Donc quid du gain sur un fichier qui se prends un petit offset dès le début?

By: Cyril

Cyril — Mon, 15 Mar 2010 13:06:02 +0000

Nous utilisons ZFS sur Opensolaris (également dispo sur BSD) qui intègre également déduplication et compression, très très concluant, les gains se cumulent et le système de fichier reste performant (et en + quota, snapshots instantanés de file system, export et import de snapshot… bref tout le confort)

Existe en version partielle sur Linux via Fuse il me semble (ZFS est opensource mais la licence n’est pas compatible avec la GPL du noyau Linux, ce qui est fort dommage)

By: Nap

Nap — Mon, 15 Mar 2010 10:09:26 +0000

Ne m’en parle pas…

PS : y a pas edit de dispo? (mon compte là car il est authentifié, mais pour le autres je ne sais pas)

By: Nap

Nap — Mon, 15 Mar 2010 10:07:57 +0000

C’est vrai qu’ils utilisent un arbre binaire il me semble. Je n’ai toujours pas pris le temps de voir comment ça permettait d’éviter le hash (brevet VMware…) des pages mémoires, mais en effet ici ça permettrait de faire la même chose au final.

D’après ton lien, le replacement du hash est bien une simple comparaison bit à bit (”Placement in the tree is determined by a simple memcmp()”) ce qui au final est peu être plus efficace qu’un hash!

Pour Btrfs oui, il semble prometteur. Mais j’espère qu’il fera du bloc fixe (ça ok, ça va être géré), mais aussi du variable, quitte à le faire en background, car les gains ne sont pas les mêmes :p

Pour l’instant lessfs permet déjà de bien s’amuser

Je sens bien que la dédup+compression va être un standard dans l’avenir des espaces de backups, et que ça va remplacer nos chères commandes gzip et bzip2 car de-dupliquer du compressé, c’est inefficace au possible

By: AP

AP — Mon, 15 Mar 2010 10:02:13 +0000

“de contourner le brevet” … pas “le projet”.
Grrr, on ne se relit jamais assez.

By: AP

AP — Mon, 15 Mar 2010 10:01:19 +0000

Certains brevets logiciels sont liés au procédé de déduplication. Typiquement, ce qui pose problème, c’est de déclarer identiques des blocs dont les sommes de contrôle s’avèrent identiques. Le moyen typique de contourner le projet et de réaliser une comparaison bit à bit des blocs à fusionner.

Exemple d’un projet qui doit contourner soigneusement les brevets : le projet KSM (kernel shared memory), qui consiste en un patch visant à fusionner les blocs de mémoire identiques. Très intéressant avec tout ce qui touche à la virtualisation.
http://lwn.net/Articles/330589/

Cela-dit ce lessfs semble trrrrrrrrès intéressant. Je vais creuser ça… en attendant que btrfs (dont j’attends beaucoup) ne gère nativement la déduplication.