1.8では気軽に使っていたhpricot。1.9ではutf-8の問題に悩まされている。
p doc = Hpricot(response.body).search("#result_box").inner_text
とかやると
hpricot/builder.rb:9:in `gsub': invalid byte sequence in UTF-8 (ArgumentError)
と怒られる。utf-8に対してinner_textが実行出来ないらしい。
文字列にさえしてしまえばencodeする方法があるけど、hpricot内部の問題っぽいのでどうしたら良いのか分からない・・・