27.3. Einen Index durchsuchen

27.3.1. Abfrage erstellen

Es gibt zwei Arten, den Index zu durchsuchen. Die erste Methode verwendet den Query Parser, um eine Abfrage aus einem String zu erstellen. Die zweite ist die Möglichkeit, eigene Abfragen mithilfe der Zend_Search_Lucene Programmierschnittstelle (API) zu erstellen.

Vor der Verwendung des bereitgestellten Query Parsers, beachte bitte folgendes:

  1. Wenn du deine Abfragestrings programmseitig erstellst und dann durch den Query Parser verarbeiten lässt, solltest du ernsthaft darüber nachdenken, deine Abfragen direct mit der Programmierschnittstelle (API) für Abfragen zu erstellen. In anderen Worten, der Query Parser wurde für von Menschen eingegebene Texte und nicht für von Programmen erstellte Texte entwickelt.

  2. Nicht in einzelne Tokens aufgeteilte Felder werden am besten direkt zu der Abfrage und nicht über den Query Parser hinzugefügt. Wenn die Feldwerte durch die Anwendung programmseitig erstellt werden, dann sollte dies für Abfrageklauseln dieses Felds ebenfalls geschehen. Ein Analysator, welche der Query Parser verwendet, wurde entwickelt, um von Menschen eingegebenen Text in Begriffe zu konvertieren. Durch Programme erstellte Werte wie Datumsangaben, Schlüsselwörter, usw. sollten durchweg durch Programme erstellt werden.

  3. In einem Abfrageformular sollten generelle Textfelder den Query Parser verwenden. Alle anderen, wie z.B. Datumsbereiche, Schlüsselwörter, usw. werden besser direkt durch die Programmierschnittstelle (API) der Abfrage hinzugefügt. Ein Feld mit einem begrenzten Wertebereich, das durch ein Pulldown-Menü spezifiziert wird, sollte nicht einem Abfragestring hinzugefügt werden, der anschließend wieder geparst wird, sondern eher als eine TermQuery Klausel hinzugefügt werden.

  4. Boolesche Abfragen erlauben es, verschiedene Abfragen zu einer neuen zusammenzufügen. Deshalb ist dies der beste Weg, um zusätzliche Kriterien zu einer Benutzersuche hinzuzufügen, die durch den Abfragestring definiert wird.

Beide Arten verwenden die selbe Methode der Programmierschnittstelle (API), um den Index zu durchsuchen:

<?php
require_once 'Zend/Search/Lucene.php';

$index = Zend_Search_Lucene::open('/data/my_index');

$index->find($query);

?>

Die Zend_Search_Lucene::find() Methode ermittelt den Eingabetyp automatisch und verwendet den Query Parser, um ein entsprechendes Zend_Search_Lucene_Search_Query Objekt aus dem String zu erstellen.

Es ist wichtig zu beachten, dass der Query Parser den Standard Analyzer verwendet, um verschiedene Teile des Abfragestrings in Token aufzuteilen. Dadurch werden alle Umwandlungen, die auf einen indizierten Text ausgeführt werden, auch für den Abfragestring durchgeführt.

Dies können die Umwandlung in Kleinbuchstaben, um die Suche unabhängig von Groß- und Kleinschreibung zu machen, das Entfernen von Stopwörtern, das Stemming und viele andere Dinge sein.

Im Gegensatz dazu transformieren oder filtern die API Methoden die Eingabebegriffe nicht. Deshalb passen sie besser für computergenerierte und nicht in Token aufgeteilte Felder.

27.3.1.1. Query parsing

Zend_Search_Lucene_Search_QueryParser::parse() method may be used to parse query string into query object.

This object may be used in query construction API methods to combine user entered queries with machine generated queries.

Actually, in some cases it's only way to search for values within untokenized fields:

<?php
$userQuery = Zend_Search_Lucene_Search_QueryParser::parse($queryStr);

$pathTerm  = new Zend_Search_Lucene_Index_Term('/data/doc_dir/' . $filename, 'path');
$pathQuery = new Zend_Search_Query_Term($pathTerm);

$query = new Zend_Search_Query_Boolean();
$query->addSubquery($userQuery, true /* required */);
$query->addSubquery($pathQuery, true /* required */);

$hits = $index->find($query);

Zend_Search_Lucene_Search_QueryParser::parse() method also takes optional encoding parameter, which can specify query string encoding:

<?php
$userQuery = Zend_Search_Lucene_Search_QueryParser::parse($queryStr, 'iso-8859-5');

If encoding is omitted, then current locale is used.

It's also possible to specify default query string encoding with Zend_Search_Lucene_Search_QueryParser::setDefaultEncoding() method:

<?php
Zend_Search_Lucene_Search_QueryParser::setDefaultEncoding('iso-8859-5');
...
$userQuery = Zend_Search_Lucene_Search_QueryParser::parse($queryStr);

Zend_Search_Lucene_Search_QueryParser::getDefaultEncoding() returns current default query string encoding (empty string means "current locale").

27.3.2. Suchergebnisse

Das Suchergebnis ist ein Array mit Zend_Search_Lucene_Search_QueryHit Objekten. Jedes davon hat zwei Eigenschaften: $hit->document ist eine Dokumentnummer innerhalb des Index und $hit->score ist ein Punktwert für den Treffer im Suchergebnis. Das Ergebnis wird anhand der Punktwerte sortiert (beste Treffer kommen zuerst)

Das Zend_Search_Lucene_Search_QueryHit Objekt beinhaltet zudem jedes Feld des Zend_Search_Lucene_Document, das gefunden wurde, als Eigenschaft des Treffers. In diesem Beispiel, wird ein Treffer zurückgegeben und das entsprechende Dokument hat zwei Felder: Titel und Autor.

<?php
require_once('Zend/Search/Lucene.php');

$index = Zend_Search_Lucene::open('/data/my_index');

$hits = $index->find($query);

foreach ($hits as $hit) {
    echo $hit->score;
    echo $hit->title;
    echo $hit->author;
}
?>

Gespeicherte Felder werden immer in UTF-8 Kodierung zurückgegeben.

Optional kann das originale Zend_Search_Lucene_Document Objekt vom Zend_Search_Lucene_Search_QueryHit Objekt zurückgegeben werden. Du kannst gespeicherte Teile des Dokuments durch Verwendung der getDocument() Methode des Indexobjektes zurückerhalten und diese dann durch die getFieldValue() Methode abfragen:

<?php
require_once 'Zend/Search/Lucene.php';

$index = Zend_Search_Lucene::open('/data/my_index');

$hits = $index->find($query);
foreach ($hits as $hit) {
    // return Zend_Search_Lucene_Document object for this hit
    echo $document = $hit->getDocument();

    // return a Zend_Search_Lucene_Field object
    // from the Zend_Search_Lucene_Document
    echo $document->getField('title');

    // return the string value of the Zend_Search_Lucene_Field object
    echo $document->getFieldValue('title');

    // same as getFieldValue()
    echo $document->title;
}
?>

Die Felder, die in einem Zend_Search_Lucene_Document Objekt verfügbar sind, werden beim Indizieren festgelegt. Die Dokumentenfelder werden durch die Indizieranwendung (z.B. LuceneIndexCreation.jar) im Dokument entweder nur indiziert oder indiziert und gespeichert.

Beachte, dass die Dokumentidentität ('path' in unserem Beispiel) auch im Index gespeichert wird und von ihm zurückgewonnen werden muß.

27.3.3. Ergebnisgewichtung

Zend_Search_Lucene verwendet die selben Gewichtungsalgorithmen wie Java Lucene. Die Treffer in den Suchergebnisse werden standardmäßig nach einem Punktwert sortiert. Treffer mit höherem Punktwert kommen zuerst, und Dokumente mit höherem Punktwert passen auf die Abfrage besser als solche mit niedrigerem Punktwert.

Grob gesagt, haben die Suchergebnisse einen höheren Punktwert, welche den gesuchten Begriff oder die gesuchte Phrase häufiger enthalten.

Der Punktwert kann über die score Eigenschaft des Treffers ermittelt werden:

<?php
$hits = $index->find($query);

foreach ($hits as $hit) {
    echo $hit->id;
    echo $hit->score;
}

Die Zend_Search_Lucene_Search_Similarity Klasse wird verwendet, um den Punktwert zu berechnen. Beachte den Erweiterbarkeit. Algorithmen für Punktwertermittlung Abschnitt für weitere Details.

27.3.4. Sortierung der Suchergebnisse

Die Suchergebnisse werden standardmäßig nach dem Punktwert sortiert. Man kann dies durch Setzen von Parametern für das Sortierfeld (oder -felder), den Sortiertyp und der Sortierreihenfolge ändern.

$index->find() Aufruf kann verschiedene optionale Parameter entgegen nehmen:

<?php
$index->find($query [, $sortField [, $sortType [, $sortOrder]]] [, $sortField2 [, $sortType [, $sortOrder]]] ...);

$sortField ist ein Name eines gespeicherten Feldes für das Suchergebnis

$sortType kann ausgelassen werden oder folgende Werte annehmen SORT_REGULAR (vergleiche Items normal, Standardwert), SORT_NUMERIC (vergleiche Items numerisch), SORT_STRING (vergleiche items als Strings).

$sortOrder kann ausgelassen werden oder folgende Werte annehmen SORT_ASC (sortiere in aufsteigender Folge, Standardwert), SORT_DESC (sortiere in absteigender Folge).

Beispiele:

<?php
$index->find($query, 'quantity', SORT_NUMERIC, SORT_DESC);

<?php
$index->find($query, 'fname', SORT_STRING, 'lname', SORT_STRING);

<?php
$index->find($query, 'name', SORT_STRING, 'quantity', SORT_NUMERIC, SORT_DESC);

Bitte beim Verwenden von nicht standardmäßigen Sortierreihenfolgen. Es erfordert die komplette Übernahme der Dokumente aus dem Index und kann die Suchperformance dramatisch verlangsamen.

27.3.5. Search Results Highlighting

Zend_Search_Lucene_Search_Query::highlightMatches() method allows to highlight HTML document terms in context of search query:

<?php
$query = Zend_Search_Lucene_Search_QueryParser::parse($queryStr);
$hits = $index->find($query);
...
$highlightedHTML = $query->highlightMatches($sourceHTML);

highlightMatches() method utilizes Zend_Search_Lucene_Document_Html class (see HTML documents section for details) for HTML processing. So it has the same requirements for HTML source.