Zend_Search_Lucene_Analysis_Analyzer クラスは、
ドキュメントのテキストフィールドをトークン化 (単語に分解)
するために、インデクサによって使用されます。
Zend_Search_Lucene_Analysis_Analyzer::getDefault() および
Zend_Search_Lucene_Analysis_Analyzer::setDefault()
メソッドで、デフォルトの解析器を取得あるいは設定します。
したがって、独自のテキスト解析器を指定したり、
定義済みの解析器である
Zend_Search_Lucene_Analysis_Analyzer_Common_Text および
Zend_Search_Lucene_Analysis_Analyzer_Common_Text_CaseInsensitive (デフォルト)
の中から選んだものを指定したりできることになります。
これらの解析器はどちらもトークンを文字列として解釈しますが、
Zend_Search_Lucene_Analysis_Analyzer_Common_Text_CaseInsensitive
はトークンを小文字に変換します。
解析器を変更するには、以下のようにします。
<?php
Zend_Search_Lucene_Analysis_Analyzer::setDefault(
new Zend_Search_Lucene_Analysis_Analyzer_Common_Text());
...
$index->addDocument($doc);
?>
ユーザ定義の解析器のための共通の親クラスとして設計されているのが
Zend_Search_Lucene_Analysis_Analyzer_Common です。
ユーザが定義しなければならないのは tokenize()
メソッドのみで、これは入力データを文字列で受け取ってトークンの配列を返します。
tokenize() メソッドでは、すべてのトークンに対して
normalize() メソッドを適用しなければなりません。
これにより、作成した解析器をトークンフィルタとして使用できるようになります。
独自のテキスト解析器の例を示します。 これは、数字つきの単語をひとつの言葉として扱います。
例 14.1. 独自のテキスト解析器
<?php
/** これは独自のテキスト解析器で、数字つきの単語をひとつの言葉として扱います */
/** Zend_Search_Lucene_Analysis_Analyzer_Common */
require_once 'Zend/Search/Lucene/Analysis/Analyzer/Common.php';
class My_Analyzer extends Zend_Search_Lucene_Analysis_Analyzer_Common
{
/**
* テキストを単語に分割し、
* Zend_Search_Lucene_Analysis_Token オブジェクトの配列を返します
*
* @param string $data
* @return array
*/
public function tokenize($data)
{
$tokenStream = array();
$position = 0;
while ($position < strlen($data)) {
// 空白を読み飛ばします
while ($position < strlen($data) && !ctype_alpha($data{$position}) && !ctype_digit($data{$position})) {
$position++;
}
$termStartPosition = $position;
// トークンを読み込みます
while ($position < strlen($data) && (ctype_alpha($data{$position}) || ctype_digit($data{$position}))) {
$position++;
}
// 空のトークン、あるいはストリームが終了
if ($position == $termStartPosition) {
break;
}
$token = new Zend_Search_Lucene_Analysis_Token(substr($data,
$termStartPosition,
$position-$termStartPosition),
$termStartPosition,
$position);
$tokenStream[] = $this->normalize($token);
}
return $tokenStream;
}
}
Zend_Search_Lucene_Analysis_Analyzer::setDefault(
new My_Analyzer());
?>
クエリ q の、ドキュメント d
に対するスコアは以下のように定義されます。
score(q,d) = sum( tf(t in d) * idf(t) * getBoost(t.field in d) * lengthNorm(t.field in d) ) *
coord(q,d) * queryNorm(q)
tf(t in d) - Zend_Search_Lucene_Search_Similarity::tf($freq) -
ドキュメント内での単語あるいは熟語の出現頻度に基づく重み要素。
idf(t) - Zend_Search_Lucene_Search_SimilaritySimilarity::tf($term, $reader) -
指定したインデックスに対する単純な単語の重み要素。
getBoost(t.field in d) - 単語のフィールドの重み。
lengthNorm($term) - フィールド内に含まれる単語の総数を正規化した値。 この値はインデックスに保存されます。 これらの値はフィールドの重みとともにインデックスに保存され、 検索コードによってヒットした各フィールドのスコアに掛けられます。
長いフィールドでマッチした場合は、あまり的確であるとはいえません。 そのため、このメソッドの実装は通常、 numTokens が大きいときにはより小さな値、 numTokens が小さいときにはより大きな値を返すようになっています。
coord(q,d) - Zend_Search_Lucene_Search_Similarity::coord($overlap, $maxOverlap) -
ドキュメントに含まれる、検索対象の全単語の部分一致に基づく重み要素。
検索対象の単語のより多くの部分が存在しているほど、 検索結果としてよいものであるといえます。そのため、このメソッドの実装は通常、 これらのパラメータの割合が大きいときにはより大きな値、 割合が小さいときにはより小さな値を返すようになっています。
queryNorm(q) - 検索対象の各単語の重みの二乗の和で与えられる、クエリの正規化値。 この値は、検索対象の各単語の重みに掛けられます。
これは重み付けには影響しません。単に別のクエリの結果との差をなくすために使用されます。
重み付けのアルゴリズムを変更するには、独自の Similatity
クラスを定義します。そのためには以下のように
Zend_Search_Lucene_Search_Similarity クラスを継承し、
Zend_Search_Lucene_Search_Similarity::setDefault($similarity);
メソッドでそれをデフォルトとして設定します。
<?php
class MySimilarity extends Zend_Search_Lucene_Search_Similarity {
public function lengthNorm($fieldName, $numTerms) {
return 1.0/sqrt($numTerms);
}
public function queryNorm($sumOfSquaredWeights) {
return 1.0/sqrt($sumOfSquaredWeights);
}
public function tf($freq) {
return sqrt($freq);
}
/**
* 現在は使用しません。曖昧検索の曖昧度を計算します。
*/
public function sloppyFreq($distance) {
return 1.0;
}
public function idfFreq($docFreq, $numDocs) {
return log($numDocs/(float)($docFreq+1)) + 1.0;
}
public function coord($overlap, $maxOverlap) {
return $overlap/(float)$maxOverlap;
}
}
$mySimilarity = new MySimilarity();
Zend_Search_Lucene_Search_Similarity::setDefault($mySimilarity);
?>
抽象クラス Zend_Search_Lucene_Storage_Directory では、ディレクトリ機能を提供しています。
Zend_Search_Lucene のコンストラクタでは、文字列あるいは Zend_Search_Lucene_Storage_Directory オブジェクトを入力として使用します。
Zend_Search_Lucene_Storage_Directory_Filesystem クラスは、 ファイルシステム用のディレクトリ機能を実装しています。
Zend_Search_Lucene コンストラクタの入力に文字列を使用すると、 インデックスリーダ (Zend_Search_Lucene オブジェクト) はそれをファイルシステムのパスと解釈し、 Zend_Search_Lucene_Storage_Directory_Filesystem オブジェクトのインスタンスを作成します。
独自のディレクトリ機能を実装するには、 Zend_Search_Lucene_Storage_Directory クラスを継承します。
Zend_Search_Lucene_Storage_Directory のメソッドは以下のとおりです。
<?php
abstract class Zend_Search_Lucene_Storage_Directory {
/**
* 保存先を閉じます
*
* @return void
*/
abstract function close();
/**
* $filename という名前の新しい空のファイルを、ディレクトリ内に作成します
*
* @param string $name
* @return void
*/
abstract function createFile($filename);
/**
* 既存の $filename をディレクトリから削除します
*
* @param string $filename
* @return void
*/
abstract function deleteFile($filename);
/**
* $filename で指定したファイルが存在する場合に true を返します
*
* @param string $filename
* @return boolean
*/
abstract function fileExists($filename);
/**
* ディレクトリ内の $filename の長さを返します
*
* @param string $filename
* @return integer
*/
abstract function fileLength($filename);
/**
* $filename の最終更新日時を UNIX タイムスタンプで返します
*
* @param string $filename
* @return integer
*/
abstract function fileModified($filename);
/**
* ディレクトリ内の既存のファイルの名前を変更します
*
* @param string $from
* @param string $to
* @return void
*/
abstract function renameFile($from, $to);
/**
* $filename の更新時刻を現在の時刻にします
*
* @param string $filename
* @return void
*/
abstract function touchFile($filename);
/**
* ディレクトリ内の $filename についての
* Zend_Search_Lucene_Storage_File オブジェクトを返します
*
* @param string $filename
* @return Zend_Search_Lucene_Storage_File
*/
abstract function getFileObject($filename);
}
?>
Zend_Search_Lucene_Storage_Directory クラスの
getFileObject($filename) メソッドは、
Zend_Search_Lucene_Storage_File オブジェクトを返します。
抽象クラス Zend_Search_Lucene_Storage_File では、 ファイルの抽象化およびインデックスファイルの基本的な読み込み機能を実装しています。
ディレクトリ機能を実装するには Zend_Search_Lucene_Storage_File クラスを継承しなければなりません。
Zend_Search_Lucene_Storage_File クラスを実装する際に オーバーロードしなければならないメソッドは 2 つだけです。
<?php
class MyFile extends Zend_Search_Lucene_Storage_File {
/**
* ファイル上の位置を指定し、そこにファイルポインタを進めます。
* 新しい位置は、whence で指定した場所からオフセットのバイト数だけ
* 進めた位置になります。whence に指定できる値は以下のいずれかです。
* SEEK_SET - 先頭からオフセット分進めた位置に移動します。
* SEEK_CUR - 現在位置からオフセット分だけ進めた位置に移動します。
* SEEK_END - ファイルの終端からオフセット分だけ進めた位置に移動します。
* (ファイルの終端から戻った位置を指定するには、オフセットに負の値を
* 指定する必要があります)
* 成功した場合に 0、それ以外の場合に -1 を返します。
*
* @param integer $offset
* @param integer $whence
* @return integer
*/
public function seek($offset, $whence=SEEK_SET) {
...
}
/**
* ファイルから $length バイトを読み込み、ファイルポインタを進めます。
*
* @param integer $length
* @return string
*/
protected function _fread($length=1) {
...
}
}
?>