2010年11月29日月曜日

Nexenta で ZFS De-Dupeを試す(うまくいかない)


このエントリーをはてなブックマークに追加


PXEインストールしたNexentaでDe-Dupeの効果を確かめてみる。

参考>> Nexenta3.0.1をPXEインストール

Table of Contents
=================
1 ZFS領域の作成
2 書き込み実施
    2.1 1回目書き込み(2.15GB)
    2.2 同一データ2回目(4.3GB)
    2.3 同一データ3回目(6.45GB)


1 ZFS領域の作成
^^^^^^^^^^^^^^^^
  # zpool list
  NAME       SIZE  ALLOC   FREE    CAP  DEDUP  HEALTH  ALTROOT
  dedupepl  1.36T   471G   921G    33%  1.01x  ONLINE  -

  Windowsから書き込みテストをするためにsharesmbをONに、また10GBのクォータをかけて、それ以上のデータを書き込んだ時にどうなるか確認する。
  # zfs create -o quota=10g -o sharesmb=on dedupepl/normal01
  # zfs create -o quota=10g -o sharesmb=on -o compression=on dedupepl/compress01
  # zfs create -o quota=10g -o sharesmb=on -o dedup=on dedupepl/dedupe01
  # zfs create -o quota=10g -o sharesmb=on -o dedup=on -o compression=on dedupepl/dedupecomp01

  # zfs list
  NAME                     USED  AVAIL  REFER  MOUNTPOINT
  dedupepl/normal01         34K  10.0G    34K  /dedupepl/normal01
  dedupepl/compress01       34K  10.0G    34K  /dedupepl/compress01
  dedupepl/dedupefs01       34K  10.0G    34K  /dedupepl/dedupefs01
  dedupepl/dedupecomp01     34K  10.0G    34K  /dedupepl/dedupecomp01

  # zfs get compression
  NAME                            PROPERTY     VALUE     SOURCE
  dedupepl/normal01               compression  off       default
  dedupepl/compress01             compression  on        local
  dedupepl/dedupefs01             compression  off       default
  dedupepl/dedupecomp01           compression  on        local

  # zfs get dedup
  NAME                            PROPERTY  VALUE          SOURCE
  dedupepl/normal01               dedup     off            default
  dedupepl/dedupefs01             dedup     on             local
  dedupepl/compress01             dedup     off            default
  dedupepl/dedupecomp01           dedup     on             local

2 書き込み実施
^^^^^^^^^^^^^^^
  それぞれの領域に、Windowsから自炊スキャンした本の無圧縮JPG 513ファイル 計2.15GB分を書き込んでみる。

2.1 1回目書き込み(2.15GB)
~~~~~~~~~~~~~~~~~~~~~~~~~~
   # zfs list
   NAME                     USED  AVAIL  REFER  MOUNTPOINT
   dedupepl/normal01       2.19G  7.81G  2.19G  /dedupepl/normal01
   dedupepl/compress01     2.13G  7.87G  2.13G  /dedupepl/compress01
   dedupepl/dedupefs01     2.19G  7.81G  2.19G  /dedupepl/dedupefs01
   dedupepl/dedupecomp01   2.13G  7.87G  2.13G  /dedupepl/dedupecomp01

   # zfs get compressratio
   NAME                            PROPERTY       VALUE  SOURCE
   dedupepl/normal01               compressratio  1.00x  -
   dedupepl/compress01             compressratio  1.03x  -
   dedupepl/dedupefs01             compressratio  1.00x  -
   dedupepl/dedupecomp01           compressratio  1.03x  -

   # df -h
   Filesystem             size   used  avail capacity  Mounted on
   dedupepl/normal01       10G   2.2G   7.8G    22%    /dedupepl/normal01
   dedupepl/compress01     10G   2.1G   7.9G    22%    /dedupepl/compress01
   dedupepl/dedupefs01     10G   2.2G   7.8G    22%    /dedupepl/dedupefs01
   dedupepl/dedupecomp01   10G   2.1G   7.9G    22%    /dedupepl/dedupecomp01

   # du -hs /dedupepl/*
   2.2G   /dedupepl/normal01
   2.1G   /dedupepl/compress01
   2.2G   /dedupepl/dedupefs01
   2.1G   /dedupepl/dedupecomp01

   Widowsから見たサイズはどれも2.15GB
   通常圧縮しか効いてない感じ。

2.2 同一データ2回目(4.3GB)
~~~~~~~~~~~~~~~~~~~~~~~~~~~
   zfs list
   NAME                     USED  AVAIL  REFER  MOUNTPOINT
   dedupepl/normal01       4.38G  5.62G  4.38G  /dedupepl/normal01
   dedupepl/compress01     4.25G  5.75G  4.25G  /dedupepl/compress01
   dedupepl/dedupefs01     4.38G  5.62G  4.38G  /dedupepl/dedupefs01
   dedupepl/dedupecomp01   4.25G  5.75G  4.25G  /dedupepl/dedupecomp01

   # zfs get compressratio
   NAME                            PROPERTY       VALUE  SOURCE
   dedupepl/normal01               compressratio  1.00x  -
   dedupepl/compress01             compressratio  1.03x  -
   dedupepl/dedupefs01             compressratio  1.00x  -
   dedupepl/dedupecomp01           compressratio  1.03x  -

   # df -h
   Filesystem             size   used  avail capacity  Mounted on
   dedupepl/normal01       10G   4.4G   5.6G    44%    /dedupepl/normal01
   dedupepl/compress01     10G   4.2G   5.8G    43%    /dedupepl/compress01
   dedupepl/dedupefs01     10G   4.4G   5.6G    44%    /dedupepl/dedupefs01
   dedupepl/dedupecomp01   10G   4.2G   5.8G    43%    /dedupepl/dedupecomp01

   # du -hs /dedupepl/*
   4.4G   /dedupepl/normal01
   4.3G   /dedupepl/compress01
   4.4G   /dedupepl/dedupefs01
   4.3G   /dedupepl/dedupecomp01

   雲行きが怪しく。。。

2.3 同一データ3回目(6.45GB)
~~~~~~~~~~~~~~~~~~~~~~~~~~~~
   # zfs list
   NAME                     USED  AVAIL  REFER  MOUNTPOINT
   dedupepl/normal01       6.57G  3.43G  6.57G  /dedupepl/normal01
   dedupepl/compress01     6.38G  3.62G  6.38G  /dedupepl/compress01
   dedupepl/dedupefs01     6.57G  3.43G  6.57G  /dedupepl/dedupefs01
   dedupepl/dedupecomp01   6.38G  3.62G  6.38G  /dedupepl/dedupecomp01
 
   # zfs get compressratio
   NAME                            PROPERTY       VALUE  SOURCE
   dedupepl/normal01               compressratio  1.00x  -
   dedupepl/compress01             compressratio  1.03x  -
   dedupepl/dedupefs01             compressratio  1.00x  -
   dedupepl/dedupecomp01           compressratio  1.03x  -

   # df -h
   Filesystem             size   used  avail capacity  Mounted on
   dedupepl/normal01       10G   6.6G   3.4G    66%    /dedupepl/normal01
   dedupepl/compress01     10G   6.4G   3.6G    64%    /dedupepl/compress01
   dedupepl/dedupefs01     10G   6.6G   3.4G    66%    /dedupepl/dedupefs01
   dedupepl/dedupecomp01   10G   6.4G   3.6G    64%    /dedupepl/dedupecomp01

   。。。全く効果がない。
   これ、たぶんテストの仕方が悪い気がする。

   いったん中止して、調査の後にもう一回試すことにする。