日記/2013/02/07/今日の調査メモ(Grails + MongoDB, alter table と PostgreSQL, gzip,bzip2,xz,lzop,lzmaパフォーマンス比較記事)

日記 / 2013 / 02 / 07 / 今日の調査メモ(Grails + MongoDB, alter table と PostgreSQL, gzip,bzip2,xz,lzop,lzmaパフォーマンス比較記事)

id: 1145 所有者: msakamoto-sf 作成日: 2013-02-07 23:14:26
カテゴリ: Grails Groovy PostgreSQL

Grails Plugin 探訪第3回～MongoDB GORMプラグイン～ - MyBetaBook
- http://beta.mybetabook.com/showpage/4f27cf020cf26106dca875d4

GrailsでのDB Migration Plugin : Liquibaseを使ってる。

1 Introduction to the Database Migration Plugin 1.3.2
- http://grails-plugins.github.com/grails-database-migration/docs/manual/guide/1%20Introduction%20to%20the%20Database%20Migration%20Plugin.html

Groovy でメール送信

groovyあれこれ: groovyとjavamailで添付ファイル付のメールを送信する
- http://groovyarekore.blogspot.jp/2011/09/groovyjavamail_29.html
Groovy から e-mail を送信するには？：experiment：So-net blog
- http://experiment.blog.so-net.ne.jp/2010-01-20

PostgreSQLでのALTER TABLEのパフォーマンス

Flexible Schemas and PostgreSQL
- http://thoughts.j-davis.com/2010/05/06/flexible-schemas-and-postgresql/
PostgreSQL - general - alter table performance
- http://postgresql.1045698.n5.nabble.com/alter-table-performance-td1878005.html

基本的には、一旦テーブルのINDEXを全部DROPしてからALTER TABLE ADD COLUMNして、終わったらINDEX付け直すのが王道みたい。この辺、内部のストレージの使用方法的にはどんな工夫をしてるのかちょっと気になる。
また、Liquibaseでテーブル列を追加するようなmigrationを行うとき、上記のようにINDEXのDROPと付け直し処理を省力化してくれるのかも検証ポイントか。

Groovy の Process クラスが、 "|" でパイプをつなげられる仕組み：

GroovyのJDKのJavaDoc参照。java.lang.Processクラスに "Process or(Process right)" メソッドが追加されている。
- →これにより、"|"→orメソッドの呼び出しで、パイプがつなげられる仕組みになってるみたい。

unix上での圧縮系コマンドいろいろ：gzip, bzip2, xz, lzop, lzma

Man page of GZIP
- http://linuxjm.sourceforge.jp/html/GNU_gzip/man1/gzip.1.html
Man page of bzip2
- http://linuxjm.sourceforge.jp/html/bzip2/man1/bzip2.1.html
XZ Utils
- http://tukaani.org/xz/
[linux] xz、bzip2、gzipの圧縮率、圧縮展開速度の比較 - 綾小路龍之介の素人思考
- http://za.toypark.in/html/2010/01-01.html
gzip・bzip2・lzmaの比較 - masakiの雑記帳
- http://d.hatena.ne.jp/quox/20080329/p1
gzip/bzip2/xz/lzop比較． - なぜか数学者にはワイン好きが多い
- http://d.hatena.ne.jp/tullio/20110515

今探してるのは、テキスト（それも同じフレーズが隣接して多数散らばってる）と、一部でJPEG画像などのバイナリデータが混在する1GB - 10GB(まれに30GB over)なアーカイブファイルにたいして、とにかく圧縮率が良い物。圧縮自体は夜間バッチ処理などで動作させる予定なので、CPU/メモリは、圧縮時は潤沢に使える。伸長は夜間じゃないかもしれないが、伸長速度は遅くても問題ないユースケース。
そうなってくると、xz か lzma という感じになりそう。ただ、xzのサイトの解説見ると "XZ Utils are the successor to LZMA Utils." とあるので、名前的にlzmaは実質、今ならxzで良いのかもしれない。(実際、gzip/bzip2/lzmaの比較記事は2008年、gzip/bzip2/xz/lzopの比較記事は2011年と、タイムラグがある。)

マルチコアを有効活用するpigz/pbzip2の話：