Yahoo!の新しい検索エンジンが、2月18日から使えるようになった。米国のYahoo!でページ検索を行なうと、今やGoogleではなく、Yahoo!独自の検索結果が掲げられるというわけ。そいつは「Yahoo! Search Technology」と呼ばれ、独自のインデックスと独自のランキングシステムを持っている。同社は2003年、Inktomiを買収していたから、Googleを切り離すにあたっては「Inktomiをそのまま使うのか？」なんて想像している人もいたが、新しいエンジンはInktomiそのものではないが、明らかにInktomiのエンジンをベースに開発されていることがわかる。
Yahoo!の検索エンジンは年々移り変わり、進化し続けている。2002年10月には、人間のスタッフが編集したディレクトリに代わって、Googleのエンジンを使った検索結果をデフォルトで表示するようになった。そして2003年4月には検索結果を再編成し、「Yahoo! Search」という名称にして、ディレクトリやニュース検索、イメージ検索、電話帳などをタブで切り替えられるようにした。
Yahoo!のイメージ検索は現在のところ、まだGoogleのエンジンを使っているようだ。Yahoo! Newsも特に変化はないように見える。しかしYahoo!の新しい検索エンジンが、これまで使っていたGoogleのエンジンと比べて大きく異なるのは、Yahoo!がスパムのフィルタリング機能を持っていることだ。Yahoo!はご存じのように巨大なメールサービスを持っていて、何十億ものメールのトラフィックを管理している。そこで蓄積されたスパムの性質や動向、特徴に関する知識や理解が、このすばらしいフィルタリングとなって結実したのではないかと考えられている。
Yahoo!の新しい検索ロボットは「Yahoo! Slurp」と呼ばれている。 このYahoo! Slurpは、Webページのサイズが500KBを越えるとインデックスをストップするようだ。Googleの検索ロボットは100KBでストップしていたから、上限が大きくなっている。またYahoo! SlurpはGoogleと異なり、HTMLのMETAタグに埋め込まれたキーワードを参照しているように見える。このYahoo! Slurpに関するもっと詳しい情報は僕のブログで随時公開しているので、そちらも参照してほしい。
またさまざまな報道によると、Yahoo!は近い将来、RSSフィードを搭載するという。そしてパーソナライズされた自分のMy Yahoo!に加えることができるようになるとか。興味深い状況になりそうだね。つい先日も、僕は知人から「それっていいこと？ それとも悪いこと？」と聞かれたが、僕の答えは「良い面も悪い面も、両方ある」というものだ。検索エンジンのパーソナライゼーションについては、さまざまな議論が行なわれている。それについてはこの連載の次回で触れてみたいと思っている。