探し物は何ですか [検索エンジンからのトラフィックを分析する]

ちょっと思うところがあって、＠ITの記事ページに検索エンジンからたどりついた人がいったい何を検索していてそのページにやってきたのかを分析してみています。
＠ITにやってくる人は、＠ITのメールマガジンで新着記事のタイトルを見てそれをクリックするとか＠ITのトップページをブックマークしていてまめに覗きに来る「常連さん」と、たまたま検索サイトでなにかを探していてそれに関する記事ページにたどり着いた「一見さん」に分けられると考えられるのですが、この「一見さん」が求めている情報ニーズにもっと的確にお応えする方法を開発しようと思っていろいろ実験しているのです。
で、そのために作ったツールをこのサイトで試しに使ってみました。

検索サイトの検索結果のページからどこかのサイトへジャンプすると、ブラウザがジャンプ先のサーバーにRefererという情報を渡します。「私はどこのURLから来ました」という情報です。検索サイトからジャンプしてくるとそのRefererのURLの中に検索するときに使ったキーワードが埋め込まれているので、そいつを拾い出すと何のキーワードの検索結果のページから飛んできたかがわかります。
ちょっと気の利いたWebのログを解析するツールには、このキーワードを解析する機能が入っていて、なんというキーワードで飛んできたのランキングが表示されたりするのですが、海外製のログ解析ツールは日本語の文字コードまで気にして作られていないので、うまくこの機能が使えません。たとえばYahoo!から来た人は検索キーワードをEUC-JPの文字コードにしたものを「抱えて」やってきますが、GoogleはShift-JISだったりUTF-8だったりまちまちです。それでもGoogleはどの文字コードで書いてあるかという情報がついてくるのがほとんどですが、検索サイトによっては使用者のブラウザ任せでまったくばらばらな文字コードだったりします。それがごっちゃになって集計されるので、なにがなんだかわからない文字化けだらけの集計結果が出てきてしまうのです。で、そのへんをきちんと解析して、どんな文字コードが来てもちゃんと解読するというツールをこしらえてみたのです。
ちなみに、先月検索エンジンからやってきた人が探していたもののトップは「アーシング」「アーシング　プジョー」「アーシング　３０６」などアーシング関係がトップで、全体の約4分の1。続いて「アメックス　センチュリオン」「アメックス　プラチナ」「センチュリオンカード」などアメックス関係が2位でアーシングの約半分。そのあと「半可通」「ノイズキャンセルヘッドフォン」「Hotfix」「Blog」「ペンギンのペンギン」「耳鳴り」「Suica」「CNET 御手洗さん」「丸の内　弁当」「コム デ ギャルソン 丸の内店」などが並びます。こうやって見ると、我ながら「スキゾ」ですね。
大部分がGoogleやYahooからのものですが、上のうちのいくつかは、今Googleで検索してみるとこのサイトはヒットしません。ときどきあるんですが、Googleの検索インデックスが先祖がえりしていて、1ヶ月ぐらい前のものに戻っているようです。そのうちまた戻るでしょう。
ちなみに、ここ2、3日の赤丸急上昇は「確定申告　黒木瞳」だったのですが、Googleの先祖がえりでぴたりと止まりました。しかし、この人たちは何を探していたんだろう。