doc/pazpar2_conf.xml

   1 <?xml version="1.0" standalone="no"?>
   2 <!DOCTYPE refentry PUBLIC "-//OASIS//DTD DocBook V4.4//EN"
   3  "http://www.oasis-open.org/docbook/xml/4.4/docbookx.dtd"
   4 [
   5      <!ENTITY % local SYSTEM "local.ent">
   6      %local;
   7      <!ENTITY % entities SYSTEM "entities.ent">
   8      %entities;
   9      <!ENTITY % idcommon SYSTEM "common/common.ent">
  10      %idcommon;
  11 ]>
  12 <refentry id="pazpar2_conf">
  13  <refentryinfo>
  14   <productname>Pazpar2</productname>
  15   <productnumber>&version;</productnumber>
  16   <info><orgname>Index Data</orgname></info>
  17  </refentryinfo>
  18
  19  <refmeta>
  20   <refentrytitle>Pazpar2 conf</refentrytitle>
  21   <manvolnum>5</manvolnum>
  22   <refmiscinfo class="manual">File formats and conventions</refmiscinfo>
  23  </refmeta>
  24
  25  <refnamediv>
  26   <refname>pazpar2_conf</refname>
  27   <refpurpose>Pazpar2 Configuration</refpurpose>
  28  </refnamediv>
  29
  30  <refsynopsisdiv>
  31   <cmdsynopsis>
  32    <command>pazpar2.conf</command>
  33   </cmdsynopsis>
  34  </refsynopsisdiv>
  35
  36  <refsect1><title>DESCRIPTION</title>
  37   <para>
  38    The Pazpar2 configuration file, together with any referenced XSLT files,
  39    govern Pazpar2's behavior as a client, and control the normalization and
  40    extraction of data elements from incoming result records, for the
  41    purposes of merging, sorting, facet analysis, and display.
  42   </para>
  43
  44   <para>
  45    The file is specified using the option -f on the Pazpar2 command line.
  46    There is not presently a way to reload the configuration file without
  47    restarting Pazpar2, although this will most likely be added some time
  48    in the future.
  49   </para>
  50  </refsect1>
  51
  52  <refsect1><title>FORMAT</title>
  53   <para>
  54    The configuration file is XML-structured. It must be well-formed XML. All
  55    elements specific to Pazpar2 should belong to the namespace
  56    <literal>http://www.indexdata.com/pazpar2/1.0</literal>
  57    (this is assumed in the
  58    following examples). The root element is named "<literal>pazpar2</literal>".
  59    Under the  root element are a number of elements which group categories of
  60    information. The categories are described below.
  61   </para>
  62
  63   <refsect2 id="config-threads"><title>threads</title>
  64     <para>
  65       This section is optional and is supported for Pazpar2 version 1.3.1 and
  66       later . It is identified by element "<literal>threads</literal>" which
  67       may include one attribute "<literal>number</literal>" which specifies
  68       the number of worker-threads that the Pazpar2 instance is to use.
  69       A value of 0 (zero) disables worker-threads (all work is carried out
  70       in main thread).
  71     </para>
  72   </refsect2>
  73   <refsect2 id="config-server"><title>server</title>
  74    <para>
  75     This section governs overall behavior of a server endpoint. It is identified
  76     by the element "server" which takes an optional attribute, "id", which
  77     identifies this particular Pazpar2 server. Any string value for "id"
  78     may be given.
  79    </para>
  80    <para>The data
  81     elements are described below. From Pazpar2 version 1.2 this is
  82     a repeatable element.
  83    </para>
  84    <variablelist> <!-- level 1 -->
  85     <varlistentry>
  86      <term>listen</term>
  87      <listitem>
  88       <para>
  89        Configures the webservice -- this controls how you can connect
  90        to Pazpar2 from your browser or server-side code. The
  91        attributes 'host' and 'port' control the binding of the
  92        server. The 'host' attribute can be used to bind the server to
  93        a secondary IP address of your system, enabling you to run
  94        Pazpar2 on port 80 alongside a conventional web server. You
  95        can override this setting on the command line using the option -h.
  96       </para>
  97      </listitem>
  98     </varlistentry>
  99
 100     <varlistentry>
 101      <term>proxy</term>
 102      <listitem>
 103       <para>
 104        If this item is given, Pazpar2 will forward all incoming HTTP
 105        requests that do not contain the filename 'search.pz2' to the
 106        host and port specified using the 'host' and 'port'
 107        attributes. The 'myurl' attribute is required, and should provide
 108        the base URL of the server. Generally, the HTTP URL for the host
 109        specified in the 'listen' parameter. This functionality is
 110        crucial if you wish to use
 111        Pazpar2 in conjunction with browser-based code (JS, Flash,
 112        applets, etc.) which operates in a security sandbox. Such code
 113        can only connect to the same server from which the enclosing
 114        HTML page originated. Pazpar2s proxy functionality enables you
 115        to host all of the main pages (plus images, CSS, etc) of your
 116        application on a conventional webserver, while efficiently
 117        processing webservice requests for metasearch status, results,
 118        etc.
 119       </para>
 120      </listitem>
 121     </varlistentry>
 122
 123     <varlistentry>
 124      <term>relevance / sort / mergekey</term>
 125      <listitem>
 126       <para>
 127        Specifies character set normalization for relevancy / sorting
 128        and the mergekey - for the server. These definitions serves as
 129        default for services that don't have these given. For the meaning
 130        of these settings refer to the "relevance" element inside service.
 131       </para>
 132      </listitem>
 133     </varlistentry>
 134
 135     <varlistentry>
 136      <term>settings</term>
 137      <listitem>
 138       <para>
 139        Specifies target settings for the server.. These settings serves
 140        as default for all services which don't have these given.
 141        The settings element requires one attribute 'src' which specifies
 142        a settings file or a directory . If a directory is given all
 143        files with suffix <filename>.xml</filename> is read from this
 144        directory. Refer to
 145        <xref linkend="target_settings"/> for more information.
 146       </para>
 147      </listitem>
 148     </varlistentry>
 149
 150     <varlistentry>
 151      <term>service</term>
 152      <listitem>
 153       <para>
 154        This nested element controls the behavior of Pazpar2 with
 155        respect to your data model. In Pazpar2, incoming records are
 156        normalized, using XSLT, into an internal representation.
 157        The 'service' section controls the further processing and
 158        extraction of data from the internal representation, primarily
 159        through the 'metadata' sub-element.
 160       </para>
 161       <para>
 162        Pazpar2 version 1.2 and later allows multiple service elements.
 163        Multiple services must be given a unique ID by specifying
 164        attribute <literal>id</literal>.
 165        A single service may be unnamed (service ID omitted). The
 166        service ID is referred to in the
 167        <link linkend="command-init"><literal>init</literal></link> webservice
 168        command's <literal>service</literal> parameter.
 169       </para>
 170
 171       <variablelist> <!-- Level 2 -->
 172        <varlistentry><term>metadata</term>
 173         <listitem>
 174          <para>
 175           One of these elements is required for every data element in
 176           the internal representation of the record (see
 177           <xref linkend="data_model"/>. It governs
 178            subsequent processing as pertains to sorting, relevance
 179            ranking, merging, and display of data elements. It supports
 180            the following attributes:
 181          </para>
 182
 183          <variablelist> <!-- level 3 -->
 184           <varlistentry><term>name</term>
 185            <listitem>
 186             <para>
 187              This is the name of the data element. It is matched
 188              against the 'type' attribute of the
 189              'metadata' element
 190              in the normalized record. A warning is produced if
 191              metadata elements with an unknown name are
 192              found in the
 193              normalized record. This name is also used to
 194              represent
 195              data elements in the records returned by the
 196              webservice API, and to name sort lists and browse
 197              facets.
 198             </para>
 199            </listitem>
 200           </varlistentry>
 201
 202           <varlistentry><term>type</term>
 203            <listitem>
 204             <para>
 205              The type of data element. This value governs any
 206              normalization or special processing that might take
 207              place on an element. Possible values are 'generic'
 208              (basic string), 'year' (a range is computed if
 209              multiple years are found in the record). Note: This
 210              list is likely to increase in the future.
 211             </para>
 212            </listitem>
 213           </varlistentry>
 214
 215           <varlistentry><term>brief</term>
 216            <listitem>
 217             <para>
 218              If this is set to 'yes', then the data element is
 219              includes in brief records in the webservice API. Note
 220              that this only makes sense for metadata elements that
 221              are merged (see below). The default value is 'no'.
 222             </para>
 223            </listitem>
 224           </varlistentry>
 225
 226           <varlistentry><term>sortkey</term>
 227            <listitem>
 228             <para>
 229              Specifies that this data element is to be used for
 230              sorting. The possible values are 'numeric' (numeric
 231              value), 'skiparticle' (string; skip common, leading
 232              articles), and 'no' (no sorting). The default value is
 233              'no'.
 234             </para>
 235            </listitem>
 236           </varlistentry>
 237
 238           <varlistentry><term>rank</term>
 239            <listitem>
 240             <para>
 241              Specifies that this element is to be used to
 242              help rank
 243              records against the user's query (when ranking is
 244              requested). The value is an integer, used as a
 245              multiplier against the basic TF*IDF score. A value of
 246              1 is the base, higher values give additional
 247              weight to
 248              elements of this type. The default is '0', which
 249              excludes this element from the rank calculation.
 250             </para>
 251            </listitem>
 252           </varlistentry>
 253
 254           <varlistentry><term>termlist</term>
 255            <listitem>
 256             <para>
 257              Specifies that this element is to be used as a
 258              termlist, or browse facet. Values are tabulated from
 259              incoming records, and a highscore of values (with
 260              their associated frequency) is made available to the
 261              client through the webservice API.
 262              The possible values
 263              are 'yes' and 'no' (default).
 264             </para>
 265            </listitem>
 266           </varlistentry>
 267
 268           <varlistentry><term>merge</term>
 269            <listitem>
 270             <para>
 271              This governs whether, and how elements are extracted
 272              from individual records and merged into cluster
 273              records. The possible values are: 'unique' (include
 274              all unique elements), 'longest' (include only the
 275              longest element (strlen), 'range' (calculate a range
 276              of values across all matching records), 'all' (include
 277              all elements), or 'no' (don't merge; this is the
 278              default);
 279             </para>
 280            </listitem>
 281           </varlistentry>
 282
 283           <varlistentry><term>mergekey</term>
 284            <listitem>
 285             <para>
 286              If set to '<literal>required</literal>', the value of this
 287              metadata element is appended to the resulting mergekey if
 288              the metadata is present in a record instance.
 289              If the metadata element is not present, the a unique mergekey
 290              will be generated instead.
 291             </para>
 292             <para>
 293              If set to '<literal>optional</literal>', the value of this
 294              metadata element is appended to the resulting mergekey if the
 295              the metadata is present in a record instance. If the metadata
 296              is not present, it will be empty.
 297             </para>
 298             <para>
 299              If set to '<literal>no</literal>' or the mergekey attribute is
 300              omitted, the metadata will not be used in the creation of a
 301              mergekey.
 302             </para>
 303            </listitem>
 304           </varlistentry>
 305
 306           <varlistentry><term>setting</term>
 307            <listitem>
 308             <para>
 309              This attribute allows you to make use of static database
 310              settings in the processing of records. Three possible values
 311              are allowed. 'no' is the default and doesn't do anything.
 312              'postproc' copies the value of a setting with the same name
 313              into the output of the normalization stylesheet(s). 'parameter'
 314              makes the value of a setting with the same name available
 315              as a parameter to the normalization stylesheet, so you
 316              can further process the value inside of the stylesheet, or use
 317              the value to decide how to deal with other data values.
 318             </para>
 319             <para>
 320              The purpose of using settings in this way can either be to
 321              control the behavior of normalization stylesheet in a database-
 322              dependent way, or to easily make database-dependent values
 323              available to display-logic in your user interface, without having
 324              to implement complicated interactions between the user interface
 325              and your configuration system.
 326             </para>
 327            </listitem>
 328           </varlistentry>
 329
 330          </variablelist> <!-- attributes to metadata -->
 331
 332         </listitem>
 333        </varlistentry>
 334
 335        <varlistentry>
 336         <term>relevance</term>
 337         <listitem>
 338          <para>
 339           Specifies ICU tokenization and transformation rules
 340           for tokens that are used in Pazpar2's relevance ranking.
 341           The 'id' attribute is currently not used, and the 'locale'
 342           attribute must be set to one of the locale strings
 343           defined in ICU. The child elements listed below can be
 344           in any order, except the 'index' element which logically
 345           belongs to the end of the list. The stated tokenization,
 346           transformation and charmapping instructions are performed
 347           in order from top to bottom.
 348          </para>
 349          <variablelist> <!-- Level 2 -->
 350           <varlistentry><term>casemap</term>
 351            <listitem>
 352             <para>
 353              The attribute 'rule' defines the direction of the
 354              per-character casemapping, allowed values are "l"
 355              (lower), "u" (upper), "t" (title).
 356             </para>
 357            </listitem>
 358           </varlistentry>
 359           <varlistentry><term>transform</term>
 360            <listitem>
 361             <para>
 362              Normalization and transformation of tokens follows
 363              the rules defined in the 'rule' attribute. For
 364              possible values we refer to the extensive ICU
 365              documentation found at the
 366              <ulink url="&url.icu.transform;">ICU
 367               transformation</ulink> home page. Set filtering
 368              principles are explained at the
 369              <ulink url="&url.icu.unicode.set;">ICU set and
 370               filtering</ulink> page.
 371             </para>
 372            </listitem>
 373           </varlistentry>
 374           <varlistentry><term>tokenize</term>
 375            <listitem>
 376             <para>
 377              Tokenization is the only rule in the ICU chain
 378              which splits one token into multiple tokens. The
 379              'rule' attribute may have the following values:
 380              "s" (sentence), "l" (line-break), "w" (word), and
 381              "c" (character), the later probably not being
 382              very useful in a pruning Pazpar2 installation.
 383             </para>
 384            </listitem>
 385           </varlistentry>
 386          </variablelist>
 387          <para>
 388           From Pazpar2 version 1.1 the ICU wrapper from YAZ is used.
 389           Refer to the <ulink url="&url.yaz.yaz-icu;">yaz-icu</ulink>
 390           utility for more information.
 391          </para>
 392         </listitem>
 393        </varlistentry>
 394
 395        <varlistentry>
 396         <term>sort</term>
 397         <listitem>
 398          <para>
 399           Specifies ICU tokenization and transformation rules
 400           for tokens that are used in Pazpar2's sorting. The contents
 401           is similar to that of <literal>relevance</literal>.
 402          </para>
 403         </listitem>
 404        </varlistentry>
 405
 406        <varlistentry>
 407         <term>mergekey</term>
 408         <listitem>
 409          <para>
 410           Specifies ICU tokenization and transformation rules
 411           for tokens that are used in Pazpar2's mergekey. The contents
 412           is similar to that of <literal>relevance</literal>.
 413          </para>
 414         </listitem>
 415        </varlistentry>
 416
 417        <varlistentry>
 418         <term>settings</term>
 419         <listitem>
 420          <para>
 421           Specifies target settings for this service. Refer to
 422           <xref linkend="target_settings"/>.
 423          </para>
 424         </listitem>
 425        </varlistentry>
 426
 427        <varlistentry>
 428         <term>timeout</term>
 429         <listitem>
 430          <para>
 431           Specifies timeout parameters for this service.
 432           The <literal>timeout</literal>
 433           element supports the following attributes:
 434           <literal>session</literal>, <literal>z3950_operation</literal>,
 435           <literal>z3950_session</literal> which specifies
 436           'session timeout', 'Z39.50 operation timeout',
 437           'Z39.50 session timeout' respectively. The Z39.50 operation
 438           timeout is the time Pazpar2 will wait for an active Z39.50/SRU
 439           operation before it gives up (times out). The Z39.50 session
 440           time out is the time Pazpar2 will keep the session alive for
 441           an idle session (no operation).
 442          </para>
 443          <para>
 444           The following is recommended but not required:
 445           z3950_operation (30) &lt; session (60) &lt; z3950_session (180) .
 446           The default values are given in parantheses.
 447          </para>
 448         </listitem>
 449        </varlistentry>
 450
 451       </variablelist>     <!-- Data elements in service directive -->
 452      </listitem>
 453     </varlistentry>
 454
 455    </variablelist>           <!-- Data elements in server directive -->
 456   </refsect2>
 457
 458  </refsect1>
 459
 460  <refsect1><title>EXAMPLE</title>
 461   <para>Below is a working example configuration:
 462    <screen><![CDATA[
 463     <?xml version="1.0" encoding="UTF-8"?>
 464     <pazpar2 xmlns="http://www.indexdata.com/pazpar2/1.0">
 465
 466       <threads number="10"/>
 467       <server>
 468         <listen port="9004"/>
 469         <service>
 470           <metadata name="title" brief="yes" sortkey="skiparticle"
 471              merge="longest" rank="6"/>
 472           <metadata name="isbn" merge="unique"/>
 473           <metadata name="date" brief="yes" sortkey="numeric"
 474              type="year" merge="range" termlist="yes"/>
 475           <metadata name="author" brief="yes" termlist="yes"
 476              merge="longest" rank="2"/>
 477           <metadata name="subject" merge="unique" termlist="yes" rank="3"/>
 478           <metadata name="url" merge="unique"/>
 479           <relevance>
 480             <icu_chain id="relevance" locale="el">
 481               <transform rule="[:Control:] Any-Remove"/>
 482               <tokenize rule="l"/>
 483               <transform rule="[[:WhiteSpace:][:Punctuation:]] Remove"/>
 484               <casemap rule="l"/>
 485              </icu_chain>
 486            </relevance>
 487            <settings src="mysettings"/>
 488            <timeout session="60"/>
 489         <service>
 490      </server>
 491    </pazpar2>
 492     ]]></screen>
 493   </para>
 494  </refsect1>
 495
 496  <refsect1 id="config-include"><title>INCLUDE FACILITY</title>
 497   <para>
 498    The XML configuration may be partitioned into multiple files by using
 499    the <literal>include</literal> element which takes a single attribute,
 500    <literal>src</literal>. The of the <literal>src</literal> attribute is
 501    regular Shell like glob-pattern. For example,
 502    <screen><![CDATA[
 503     <include src="/etc/pazpar2/conf.d/*.xml"/>
 504     ]]></screen>
 505   </para>
 506   <para>
 507    The include facility requires Pazpar2 version 1.2.
 508   </para>
 509  </refsect1>
 510
 511  <refsect1 id="target_settings"><title>TARGET SETTINGS</title>
 512   <para>
 513    Pazpar2 features a cunning scheme by which you can associate various
 514    kinds of attributes, or settings with search targets. This can be done
 515    through XML files which are read at startup; each file can associate
 516    one or more settings with one or more targets. The file format is generic
 517    in nature, designed to support a wide range of application requirements. The
 518    settings can be purely technical things, like, how to perform a title
 519    search against a given target, or it can associate arbitrary name=value
 520    pairs with groups of targets -- for instance, if you would like to
 521    place all commercial full-text bases in one group for selection
 522    purposes, or you would like to control what targets are accessible
 523    to users by default. Per-database settings values can even be used
 524    to drive sorting, facet/termlist generation, or end-user interface display
 525    logic.
 526   </para>
 527
 528   <para>
 529    During startup, Pazpar2 will recursively read a specified directory
 530    (can be identified in the pazpar2.cfg file or on the command line), and
 531    process any settings files found therein.
 532   </para>
 533
 534   <para>
 535    Clients of the Pazpar2 webservice interface can selectively override
 536    settings for individual targets within the scope of one session. This
 537    can be used in conjunction with an external authentication system to
 538    determine which resources are to be accessible to which users. Pazpar2
 539    itself has no notion of end-users, and so can be used in conjunction
 540    with any type of authentication system. Similarly, the authentication
 541    tokens submitted to access-controlled search targets can similarly be
 542    overridden, to allow use of Pazpar2 in a consortial or multi-library
 543    environment, where different end-users may need to be represented to
 544    some search targets in different ways. This, again, can be managed
 545    using an external database or other lookup mechanism. Setting overrides
 546    can be performed either using the
 547    <link linkend="command-init">init</link> or the
 548    <link linkend="command-settings">settings</link> webservice
 549    command.
 550   </para>
 551
 552   <para>
 553    In fact, every setting that applies to a database (except pz:id, which
 554    can only be used for filtering targets to use for a search) can be overridden
 555    on a per-session basis. This allows the client to override specific CCL fields
 556    for searching, etc., to meet the needs of a session or user.
 557   </para>
 558
 559   <para>
 560    Finally, as an extreme case of this, the webservice client can
 561    introduce entirely new targets, on the fly, as part of the
 562    <link linkend="command-init">init</link> or
 563    <link linkend="command-settings">settings</link> command.
 564    This is useful if you desire to manage information
 565    about your search targets in a separate application such as a database.
 566    You do not need any static settings file whatsoever to run Pazpar2 -- as
 567    long as the webservice client is prepared to supply the necessary
 568    information at the beginning of every session.
 569   </para>
 570
 571   <note>
 572    <para>
 573     The following discussion of practical issues related to session and settings
 574     management are cast in terms of a user interface based on Ajax/Javascript
 575     technology. It would apply equally well to many other kinds of browser-based logic.
 576    </para>
 577   </note>
 578
 579   <para>
 580    Typically, a Javascript client is not allowed to  directly alter the parameters
 581    of a session. There are two reasons for this. One has to do with access
 582    to information; typically, information about a user will be stored in a
 583    system on the server side, or it will be accessible in some way from the server.
 584    However, since the Javascript client cannot be entirely trusted (some hostile
 585    agent might in fact 'pretend' to be a regular ws client), it is more robust
 586    to control session settings from scripting that you run as part of your
 587    webserver. Typically, this can be handled during the session initialization,
 588    as follows:
 589   </para>
 590
 591   <para>
 592    Step 1: The Javascript client loads, and asks the webserver for a new Pazpar2
 593    session ID. This can be done using a Javascript call, for instance. Note that
 594    it is possible to submit Ajax HTTPXmlRequest calls either to Pazpar2 or to the
 595    webserver that Pazpar2 is proxying for. See (XXX Insert link to Pazpar2 protocol).
 596     </para>
 597
 598   <para>
 599    Step 2: Code on the webserver authenticates the user, by database lookup,
 600    LDAP access, NCIP, etc. Determines which resources the user has access to,
 601    and any user-specific parameters that are to be applied during this session.
 602   </para>
 603
 604   <para>
 605    Step 3: The webserver initializes a new Pazpar2 settings, and sets user-specific
 606    parameters as necessary, using the init webservice command. A new session ID is
 607    returned.
 608   </para>
 609
 610   <para>
 611    Step 4: The webserver returns this session ID to the Javascript client, which then
 612    uses the session ID to submit searches, show results, etc.
 613   </para>
 614
 615   <para>
 616    Step 5: When the Javascript client ceases to use the session, Pazpar2 destroys
 617    any session-specific information.
 618   </para>
 619
 620   <refsect2><title>SETTINGS FILE FORMAT</title>
 621    <para>
 622     Each file contains a root element named &lt;settings&gt;. It may
 623     contain one or more &lt;set&gt; elements. The settings and set
 624     elements may contain the following attributes. Attributes in the set node
 625     overrides those in the setting root element. Each set node must
 626     specify (directly, or inherited from the parent node) at least a
 627     target, name, and value.
 628    </para>
 629
 630    <variablelist>
 631     <varlistentry>
 632      <term>target</term>
 633      <listitem>
 634       <para>
 635        This specifies the search target to which this setting should be
 636        applied. Targets are identified by their Z39.50 URL, generally
 637        including the host, port, and database name, (e.g.
 638        <literal>bagel.indexdata.com:210/marc</literal>).
 639        Two wildcard forms are accepted:
 640        * (asterisk) matches all known targets;
 641        <literal>bagel.indexdata.com:210/*</literal> matches all
 642        known databases on the given host.
 643       </para>
 644       <para>
 645        A precedence system determines what happens if there are
 646        overlapping values for the same setting name for the same
 647        target. A setting for a specific target name overrides a
 648        setting which specifies target using a wildcard. This makes it
 649        easy to set defaults for all targets, and then override them
 650        for specific targets or hosts. If there are
 651        multiple overlapping settings with the same name and target
 652        value, the 'precedence' attribute determines what happens.
 653       </para>
 654      </listitem>
 655     </varlistentry>
 656     <varlistentry>
 657      <term>name</term>
 658      <listitem>
 659       <para>
 660        The name of the setting. This can be anything you like.
 661        However, Pazpar2 reserves a number of setting names for
 662        specific purposes, all starting with 'pz:', and it is a good
 663        idea to avoid that prefix if you make up your own setting
 664        names. See below for a list of reserved variables.
 665       </para>
 666      </listitem>
 667     </varlistentry>
 668     <varlistentry>
 669      <term>value</term>
 670      <listitem>
 671       <para>
 672        The value of the setting. Generally, this can be anything you
 673        want -- however, some of the reserved settings may expect
 674        specific kinds of values.
 675       </para>
 676      </listitem>
 677     </varlistentry>
 678     <varlistentry>
 679      <term>precedence</term>
 680      <listitem>
 681       <para>
 682        This should be an integer. If not provided, the default value
 683        is 0. If two (or more) settings have the same content for
 684        target and name, the precedence value determines the outcome.
 685        If both settings have the same precedence value, they are both
 686        applied to the target(s). If one has a higher value, then the
 687        value of that setting is applied, and the other one is ignored.
 688       </para>
 689      </listitem>
 690     </varlistentry>
 691    </variablelist>
 692
 693    <para>
 694     By setting defaults for target, name, or value in the root
 695     settings node, you can use the settings files in many different
 696     ways. For instance, you can use a single file to set defaults for
 697     many different settings, like search fields, retrieval syntaxes,
 698     etc. You can have one file per server, which groups settings for
 699     that server or target. You could also have one file which associates
 700     a number of targets with a given setting, for instance, to associate
 701     many databases with a given category or class that makes sense
 702     within your application.
 703    </para>
 704
 705    <para>
 706     The following examples illustrate uses of the settings system to
 707     associate settings with targets to meet different requirements.
 708    </para>
 709
 710    <para>
 711     The example below associates a set of default values that can be
 712     used across many targets. Note the wildcard for targets.
 713     This associates the given settings with all targets for which no
 714     other information is provided.
 715     <screen><![CDATA[
 716 <settings target="*">
 717
 718   <!-- This file introduces default settings for pazpar2 -->
 719
 720   <!-- mapping for unqualified search -->
 721   <set name="pz:cclmap:term" value="u=1016 t=l,r s=al"/>
 722
 723   <!-- field-specific mappings -->
 724   <set name="pz:cclmap:ti" value="u=4 s=al"/>
 725   <set name="pz:cclmap:su" value="u=21 s=al"/>
 726   <set name="pz:cclmap:isbn" value="u=7"/>
 727   <set name="pz:cclmap:issn" value="u=8"/>
 728   <set name="pz:cclmap:date" value="u=30 r=r"/>
 729
 730   <!-- Retrieval settings -->
 731
 732   <set name="pz:requestsyntax" value="marc21"/>
 733   <set name="pz:elements" value="F"/>
 734
 735   <!-- Query encoding -->
 736   <set name="pz:queryencoding" value="iso-8859-1"/>
 737
 738   <!-- Result normalization settings -->
 739
 740   <set name="pz:nativesyntax" value="iso2709"/>
 741   <set name="pz:xslt" value="../etc/marc21.xsl"/>
 742
 743 </settings>
 744
 745         ]]></screen>
 746    </para>
 747
 748    <para>
 749     The next example shows certain settings overridden for one target,
 750     one which returns XML records containing DublinCore elements, and
 751     which furthermore requires a username/password.
 752     <screen><![CDATA[
 753 <settings target="funkytarget.com:210/db1">
 754   <set name="pz:requestsyntax" value="xml"/>
 755   <set name="pz:nativesyntax" value="xml"/>
 756   <set name="pz:xslt" value="../etc/dublincore.xsl"/>
 757
 758   <set name="pz:authentication" value="myuser/password"/>
 759 </settings>
 760         ]]></screen>
 761    </para>
 762
 763    <para>
 764     The following example associates a specific name/value combination
 765     with a number of targets. The targets below are access-restricted,
 766     and can only be used by users with special credentials.
 767     <screen><![CDATA[
 768 <settings name="pz:allow" value="0">
 769   <set target="funkytarget.com:210/*"/>
 770   <set target="commercial.com:2100/expensiveDb"/>
 771 </settings>
 772         ]]></screen>
 773    </para>
 774
 775   </refsect2>
 776
 777   <refsect2><title>RESERVED SETTING NAMES</title>
 778    <para>
 779     The following setting names are reserved by Pazpar2 to control the
 780     behavior of the client function.
 781    </para>
 782
 783    <variablelist>
 784     <varlistentry>
 785      <term>pz:cclmap:xxx</term>
 786      <listitem>
 787       <para>
 788        This establishes a CCL field definition or other setting, for
 789        the purpose of mapping end-user queries. XXX is the field or
 790        setting name, and the value of the setting provides parameters
 791        (e.g. parameters to send to the server, etc.). Please consult
 792        the YAZ manual for a full overview of the many capabilities of
 793        the powerful and flexible CCL parser.
 794       </para>
 795       <para>
 796        Note that it is easy to establish a set of default parameters,
 797        and then override them individually for a given target.
 798       </para>
 799      </listitem>
 800     </varlistentry>
 801     <varlistentry id="requestsyntax">
 802      <term>pz:requestsyntax</term>
 803      <listitem>
 804       <para>
 805        This specifies the record syntax to use when requesting
 806        records from a given server. The value can be a symbolic name like
 807        marc21 or xml, or it can be a Z39.50-style dot-separated OID.
 808       </para>
 809      </listitem>
 810     </varlistentry>
 811     <varlistentry>
 812      <term>pz:elements</term>
 813      <listitem>
 814       <para>
 815        The element set name to be used when retrieving records from a
 816        server.
 817       </para>
 818      </listitem>
 819     </varlistentry>
 820     <varlistentry>
 821      <term>pz:piggyback</term>
 822      <listitem>
 823       <para>
 824        Piggybacking enables the server to retrieve records from the
 825        server as part of the search response in Z39.50. Almost all
 826        servers support this (or fail it gracefully), but a few
 827        servers will produce undesirable results.
 828        Set to '1' to enable piggybacking, '0' to disable it. Default
 829        is 1 (piggybacking enabled).
 830       </para>
 831      </listitem>
 832     </varlistentry>
 833     <varlistentry>
 834      <term>pz:nativesyntax</term>
 835      <listitem>
 836       <para>
 837        Specifies how Pazpar2 shoule map retrieved records to XML. Currently
 838        supported values are <literal>xml</literal>,
 839        <literal>iso2709</literal> and <literal>txml</literal>.
 840       </para>
 841       <para>
 842        The value <literal>iso2709</literal> makes Pazpar2 convert retrieved
 843        MARC records to MARCXML. In order to convert to XML, the exact
 844        chacater set of the MARC must be known (if not, the resulting
 845        XML is probably not well-formed). The character set may be
 846        specified by adding:
 847        <literal>;charset=</literal><replaceable>charset</replaceable> to
 848        <literal>iso2709</literal>. If omitted, a charset of
 849        MARC-8 is assumed. This is correct for most MARC21/USMARC records.
 850       </para>
 851       <para>
 852        The value <literal>txml</literal> is like <literal>iso2709</literal>
 853        except that records are converted to TurboMARC instead of MARCXML.
 854       </para>
 855       <para>
 856        The value <literal>xml</literal> is used if Pazpar2 retrieves
 857        records that are already XML (no conversion takes place).
 858       </para>
 859      </listitem>
 860     </varlistentry>
 861
 862     <varlistentry>
 863      <term>pz:queryencoding</term>
 864      <listitem>
 865       <para>
 866         The encoding of the search terms that a target accepts. Most
 867         targets do not honor UTF-8 in which case this needs to be specified.
 868         Each term in a query will be converted if this setting is given.
 869       </para>
 870      </listitem>
 871     </varlistentry>
 872
 873     <varlistentry>
 874      <term>pz:negotiation_charset</term>
 875      <listitem>
 876       <para>
 877        Sets character set for Z39.50 negotiation. Most targets do not support
 878        this, and some will even close connection if set (crash on server
 879        side or similar). If set, you probably want to set it to
 880        <literal>UTF-8</literal>.
 881       </para>
 882      </listitem>
 883     </varlistentry>
 884
 885     <varlistentry>
 886      <term>pz:xslt</term>
 887      <listitem>
 888       <para>
 889        Is a comma separated list of of files that specifies
 890        how to convert incoming records to the internal representation.
 891       </para>
 892       <para>
 893        The suffix of each file specifies the kind of tranformation.
 894        Suffix "<literal>.xsl</literal>" makes an XSL transform. Suffix
 895        "<literal>.mmap</literal>" will use the MMAP transform (described below).
 896       </para>
 897       <para>
 898        The special value "<literal>auto</literal>" will use a file
 899        which is the <link linkend="requestsyntax">pz:requestsyntax's</link>
 900        value followed by
 901        <literal>'.xsl'</literal>.
 902       </para>
 903       <para>
 904        When mapping MARC records, XSLT can be bypassed for increased
 905        performance with the alternate "MARC map" format.  Provide the
 906        path of a file with extension ".mmap" containing on each line:
 907        <programlisting>
 908         &lt;field&gt; &lt;subfield&gt; &lt;metadata element&gt;</programlisting>
 909        For example:
 910        <programlisting>
 911         245 a title
 912         500 $ description
 913         773 * citation</programlisting>
 914        To map the field value specify a subfield of '$'.  To store a
 915        concatenation of all subfields, specify a subfield of '*'.
 916       </para>
 917      </listitem>
 918     </varlistentry>
 919     <varlistentry>
 920      <term>pz:authentication</term>
 921      <listitem>
 922       <para>
 923        Sets an authentication string for a given server. See the section on
 924        authorization and authentication for discussion.
 925       </para>
 926      </listitem>
 927     </varlistentry>
 928     <varlistentry>
 929      <term>pz:allow</term>
 930      <listitem>
 931       <para>
 932        Allows or denies access to the resources it is applied to. Possible
 933        values are '0' and '1'. The default is '1' (allow access to this resource).
 934        See the manual section on authorization and authentication for discussion
 935        about how to use this setting.
 936       </para>
 937      </listitem>
 938     </varlistentry>
 939     <varlistentry>
 940      <term>pz:maxrecs</term>
 941      <listitem>
 942       <para>
 943        Controls the maximum number of records to be retrieved from a
 944        server. The default is 100.
 945       </para>
 946      </listitem>
 947     </varlistentry>
 948     <varlistentry>
 949      <term>pz:id</term>
 950      <listitem>
 951       <para>
 952        This setting can't be 'set' -- it contains the ID (normally
 953        ZURL) for a given target, and is useful for filtering --
 954        specifically when you want to select one or more specific
 955        targets in the search command.
 956       </para>
 957      </listitem>
 958     </varlistentry>
 959     <varlistentry>
 960      <term>pz:zproxy</term>
 961      <listitem>
 962       <para>
 963        The 'pz:zproxy' setting has the value syntax
 964        'host.internet.adress:port', it is used to tunnel Z39.50
 965        requests through the named Z39.50 proxy.
 966       </para>
 967      </listitem>
 968     </varlistentry>
 969
 970     <varlistentry>
 971      <term>pz:apdulog</term>
 972      <listitem>
 973       <para>
 974        If the 'pz:apdulog' setting is defined and has other value than 0,
 975        then Z39.50 APDUs are written to the log.
 976       </para>
 977      </listitem>
 978     </varlistentry>
 979
 980     <varlistentry>
 981      <term>pz:sru</term>
 982      <listitem>
 983       <para>
 984        This setting enables
 985        <ulink url="&url.sru;">SRU</ulink>/<ulink url="&url.solr;">SOLR</ulink>
 986        support.
 987        It has four possible settings.
 988        'get', enables SRU access through GET requests. 'post' enables SRU/POST
 989        support, less commonly supported, but useful if very large requests are
 990        to be submitted. 'srw' enables the SRW (SRU over SOAP) variation of
 991        the protocol.
 992       </para>
 993       <para>
 994            A value of 'solr' anables SOLR client support. This is supported
 995            for Pazpar version 1.5.0 and later.
 996       </para>
 997      </listitem>
 998     </varlistentry>
 999
1000     <varlistentry>
1001      <term>pz:sru_version</term>
1002      <listitem>
1003       <para>
1004        This allows SRU version to be specified. If unset Pazpar2
1005        will the default of YAZ (currently 1.2). Should be set
1006        to 1.1 or 1.2.
1007       </para>
1008      </listitem>
1009     </varlistentry>
1010
1011     <varlistentry>
1012      <term>pz:pqf_prefix</term>
1013      <listitem>
1014       <para>
1015        Allows you to specify an arbitrary PQF query language substring.
1016        The provided string is prefixed the user's query after it has been
1017        normalized to PQF internally in pazpar2.
1018        This allows you to attach complex 'filters' to queries for a given
1019        target, sometimes necessary to select sub-catalogs
1020        in union catalog systems, etc.
1021       </para>
1022      </listitem>
1023     </varlistentry>
1024
1025     <varlistentry>
1026      <term>pz:pqf_strftime</term>
1027      <listitem>
1028       <para>
1029        Allows you to extend a query with dates and operators.
1030        The provided string allows certain substitutions and serves as a
1031        format string.
1032        The special two character sequence '%%' gets converted to the
1033        original query. Other characters leading with the percent sign are
1034        conversions supported by strftime.
1035        All other characters are copied verbatim. For example, the string
1036        <literal>@and @attr 1=30 @attr 2=3 %Y %%</literal>
1037        would search for current year combined with the original PQF (%%).
1038       </para>
1039      </listitem>
1040     </varlistentry>
1041
1042     <varlistentry>
1043      <term>pz:sort</term>
1044      <listitem>
1045       <para>
1046        Specifies sort criteria to be applied to the result set.
1047        Only works for targets which support the sort service.
1048       </para>
1049      </listitem>
1050     </varlistentry>
1051
1052     <varlistentry>
1053      <term>pz:recordfilter</term>
1054      <listitem>
1055       <para>
1056        Specifies a filter which allows Pazpar2 to only include
1057        records that meet a certain criteria in a result. Unmatched records
1058        will be ignored. The filter takes the form name[~value] , which
1059        will include only records with metadata element (name) that has the
1060        substring (value) given. If value is omitted all records with the
1061        metadata present will be included.
1062       </para>
1063      </listitem>
1064     </varlistentry>
1065
1066     <varlistentry>
1067      <term>pz:termlist_term_count</term>
1068      <listitem>
1069       <para>
1070        Specifies that the target should return up to n terms for each facets (where termlist="yes"). This implies
1071        that the target can return facets on the search command. Requesting facets on targets that doesn't,
1072        will return unpredictable or error result.
1073       </para>
1074      </listitem>
1075     </varlistentry>
1076
1077     <varlistentry>
1078      <term>pz:termlist_term_sort</term>
1079      <listitem>
1080       <para>
1081        Specifies how the terms should be sorted. (Not yet implemented)
1082       </para>
1083      </listitem>
1084     </varlistentry>
1085
1086     <varlistentry>
1087      <term>pz:preferred</term>
1088      <listitem>
1089       <para>
1090        Specifies that a target is preferred, e.g. possible local, faster target. Using block=pref on show command
1091        will wait for all these targets to return records before releasing the block. If no target is preferred,
1092        the block=pref will identical to block=1, which release when one target has returned records.
1093       </para>
1094      </listitem>
1095     </varlistentry>
1096
1097     <varlistentry>
1098      <term>pz:block_timeout</term>
1099      <listitem>
1100       <para>
1101        (Not yet implemented). Specifies the time for which a block should be released anyway.
1102       </para>
1103      </listitem>
1104     </varlistentry>
1105
1106    </variablelist>
1107
1108   </refsect2>
1109
1110  </refsect1>
1111  <refsect1><title>SEE ALSO</title>
1112   <para>
1113    <citerefentry>
1114     <refentrytitle>pazpar2</refentrytitle>
1115     <manvolnum>8</manvolnum>
1116    </citerefentry>
1117    <citerefentry>
1118     <refentrytitle>yaz-icu</refentrytitle>
1119     <manvolnum>1</manvolnum>
1120    </citerefentry>
1121    <citerefentry>
1122     <refentrytitle>pazpar2_protocol</refentrytitle>
1123     <manvolnum>7</manvolnum>
1124    </citerefentry>
1125   </para>
1126  </refsect1>
1127 </refentry>
1128 <!-- Keep this comment at the end of the file
1129 Local variables:
1130 mode: sgml
1131 sgml-omittag:t
1132 sgml-shorttag:t
1133 sgml-minimize-attributes:nil
1134 sgml-always-quote-attributes:t
1135 sgml-indent-step:1
1136 sgml-indent-data:t
1137 sgml-parent-document:nil
1138 sgml-local-catalogs: nil
1139 sgml-namecase-general:t
1140 End:
1141 -->