クロールすべし - PageRank計算

RubyのMechanize、Hpricotを使ってクローラを書いている。とりあえず1000とか10000オーダーのデータを、Schemeで書いたPageRank計算のプログラムに入れるとどうなるか、どのくらいの時間がかかるのかを見るのが目的。

クローラのバックエンドにgdbmを使って書いたけど、どうもそこがボトルネックになっている？時々動作が非常に遅くなることがある。MySQLは今回のクローラにはオーバースペックだし。TokyoCabinetが軽量でいいらしいが、明日TokyoCabinetを使ってみようか。