Fixed bug in snippet support where first char was missed

Scan now returns displayTerm which is extract from original record.
Goodbye to @'s - for scan. Bug #1411.

Generic snippet support. Unlike previous versions of snippet
implementations for Zebra this is not tied to a specific filter. The
snippet(s) are returned as an XML record with one or more snippets
in it - for special element set name zebra::snippet.

Removed snippet code from alvis filter

Fixed magic NS for DOM XML indexing.

Removed / in doc install rule to avoid double-slash (cygwin)

Removed / in doc install rule to avoid double-slash (cygwin)

For data-1, do not chop text data in ISO2709 creation . The problem is
that in some cases the chop operation will remove essential content.
However, chop is needed in cases where input is XML/SGML. Therefore,
this operation performed in the data-1 map code instead and chop is
enabled by default. The chop can be disabled with 'nochop' in parameter
in map rule, e.g.
  map title /(3,245)/(3,a) nochop

Added data1_chop_text which removes whitespace in cdata nodes

Remove comment about XML only being support in record update

Fixed typo

fixed typo

Fix bug no in NEWS

When mod.dom alwo sets additional info when it returns diagnostic
'Specified element set name not valid for specified database'.

Removed definition of docdir. It is set by automake already

Flush the iconv sequence for each sequence in a .chr file. This fixes
nothing because the ICONV handles in use always flushed themselves. They
may not always do that, so we must do it.

Cosmetic

Fixed bug #1142: Non-indexed but listed attributes issues diagnostic.
We keep the existing behavior by default and continue to issue a
diagnostic. Typically there are many attributes given in .att-files which
are never used in a Zebra installation. If they issue 0 hits, then
most Zebra servers will basically lie about their capabilities. It
would also confuse a lot of users.. (Dead programs tell no lies).
But it is certainly useful to be able to say "allow unknown use
attribtute" in controlled environments and in multi server systems
(where attributes may not indexed in all places) . Zebra now allows
attribute 14 to control this. 14=0 makes Zebra works as usual (throw
a diagnostic). 14=1 makes Zebra produce 0 hits (for the leaf/APT)

Using acro. entities. Replaced some it's to its (where appropriate).

Use entity idcommon rather than common

Zebra returns character encoding as part of init response even if
client does not suggest one.

Simplify data1 character set conversion

More news

Fixed bug #1132: tstcharmap fails on flurry (amd64). Problem was missing
include of stdlib.h.

Fixed bug #1131: Missing value-of data in DOM filter. The problem was
that the internally generated MARCXML did not have the namespace
"http://www.loc.gov/MARC21/slim" declared.

Use YAZ_CHECK_LOG consistently.

Ignore tstres

Fixed bug #1049: zebra.cfg lines with leading space are ignored. Res
system now uses YAZ' tokenizer. Added test for this (tstres.c).

Bump to 2.0.15. Require YAZ 3.0.3

Indentation. Removed a few unused functions.

Fixed bug #1128: sortmax not honored.

Factor common work in term_100, ..term_105 into private function
add_non_space.

Added string relation tests.

Fixed bug #1121: Crash for some searches with customized string.chr.
This involves longish but trivial use or WRBUf instead of static buffer -
problem is the heavy use equivalent directives in the customized
string.chr.

Fix dup YAZ_EXPORT

Towards 2.0.14.

Notes on version update.

m4 quoting

Fixed bug #1114: scan within set may use excessive CPU.

Use YAZ 3 lib,dll

Issue diagnostic for scan if 'set' in @attr 8=set does not exist.
Fixed memory leak in rpn_scan (unreleased WRBUF for each term).

Display match string if log level "extract" is used.

Use Odr_oid for OIDs. Require YAZ 3.0.2 or later.

Require YAZ 3

Allow safari filter to specify index type.

log optimized on level 'extrat'; details in 'details'

Return proper EOF for safari filter

Dont use nmem_init, nmem_exit

Update for YAZ 3s libyaz_server.la

Another and hopefully, last, YAZ OID DB update

Update for YAZ 3s new OID system

Changed extract code so that it optimizes updates of records where content
is almost identical to previous version of record. This makes updating of
the internal explain database faster too. Also fixed memory leak that
occurred for each deleted record.

Fixed bad memory reference that could occur if empty key block was to
be sorted.

Remove leading blank line

Fixed bug #1017: assert failure in isamb for delete of records. Problem
was that root ptr of sort ISAMB was not properly flushed to disk when it
changed.

Make directory config it it is not there

Removed a few YLOG_LOG messages. This could be enough to fix bug #1012.

Update with latest changes.

Describe the @type action for DOM filter

Minor change in link to CQL material in YAZ

For RPN queries the index type (w,p,..) may be specified verbatim
as structure attribute with string value, e.g. @attr 4=w .

ChangeLog in dist

Use yaz_iconv flushing.

Remove debug msg

Use non-const char return value for strtok work

WRBUF updates.

Changed some types in mod_dom.c ; mostly 'xmlChar *' to 'const char *'.
The use of const is more appropriate than non-const becuase these
string references point to xmlNode content - and we are not allowed
to change that. Added buffer safe PI attribute reading for mod_dom.c by
implementing function attr_content_pi. Function index_value_of still has
potential buffer flows. The record extraction system now has a new member,
action, which may be modified by a record filter to signal
delete/replace/insert. This is only honoured if update is used (in which
case the outer system already has said "we don't care whether it's insert
or replace anyway). Added mod_dom test for the use for @type=delete .

Changed record update API . It is now handled by function
zebra_record_update which does insert/replace/delete/update of
records . This function replaces zebra_record_{insert,delete} and
zebra_admin_exchange_record.

Fixed bug #944: Allow extraction of multiple records per ES update.
Based on patch from Hans-Werner Hilse.

Debian package 2.0.13-1

changed <dom> and <input> parser such that the following conditions actually work:
1) no <input> element at all
2) empty <input> element
3) <input> element starting with an <xslt> instruction (that is, <xmlreader> and/or <marc> not mandatory any more.
Needed to make new define DOM_INPUT_DOM besides DOM_INPUT_MARC and DOM_INPUT_XMLREADER
Still missing detection of <xmlreader> or <marc> after all <xslt> nodes.
And more important: when finding errors here, it's kind of lam just to emit an warning, one should stop processing!

For MARC indexing, skip until record separator is met.

Bump to 2.0.13

corrected typo

added example of MARCXML indexing with chopping of sort indexes cccording to 'ind2' field containing integer

Added mod_dom to win32 makefile

Towards 2.0.12

Fixed bug with indexing of attributes for rec.grs-class of filters. If
xpath was enabled xelm a/@b would be ignored.

Added always the XML parsing flag XML_PARSE_NONET to any  XML_PARSE_XINCLUDE to avoid spoofing Zebra to fetch megabyte from an external xincluded url. pretty normal safety thing to do, we just did forget before.

removed documentation of non-working 'insert', 'update' 'delete' functionality in Alvis filter
removed 'update' instruction from example OAI indexing stylesheet

Fixed bug #931: lem 'zebra::index::field' hangs if not specified 'storeKeys: 1' in zebra.cfg.

Fixed bug #943: Searches with localid always find a hit.

Avoid mixed stmt/var declare

added missing extra dist target

Fixed bug #946: Coredump on MARC display.

Added missing xsl for dom1 test.

added tests for bug #883 'Need an 'ignore' value for the z:type
attribute in the canonical indexing format'
resolved bug #883
tested as well on gutenberg collection
zebra-setup/gutenberg
case closed, see
http://bugzilla.indexdata.dk/show_bug.cgi?id=883

Fixes for perform_convert: use xmlParseMemory instead of xmlParseMemory
to avoid reading beyond end of buffer. Ensure conversions are stopped
if XSLT conversion fail(s).

removed section on special record retrieval features, which need a rewrite - only commented out.
added section on debugging of DOM filter configurations
added a bullet point on semantics of DOM filter explaining that records not emerging record and index instructions are discarted, i.e. dropped on the floor. This meets Seb's wishes for the gutenberg collection

removed quick start and examples, which are very GRS-1 centric.
These need re-writing in terms of the DOM filter

Allow record filters to return 'skip' this record (RECCTRL_EXTRACT_SKIP).
Make dom filter return 'skip' if no zebra 'record' node exists in
indexing document. Bug #883.

Fix handling of record retrieval in the case of  open failure of external
record file (storedata:0).

added nice debug output of all xmlreader and xslt XML stuff when running with
zebra/index/zebraidx -c zebra.cfg  -s  update water.rdf
Don't do thins on huge data - the logs will be at least 4-6 times the size of the input data !!

closing bug #928 by dropping DOM document to xmlbuffer and re-reading into DOM each time a XSLT transform did occur. Yes, ugly, ugly, but no other possibility.
Added output of XML after each transformation on YLOG_DEBUG level, run indexer with '-v debug' to see all transformations

removed general warning log of indexing process. this can be seen by running the indexer with '-v debug' anyhow.

Avoid sprintf with NULL %s value (Solaris dislikes it)

Fixed bug #929: Unfinished transaction in non-shadow does not get a
warn.

Deal with two common places for corrupt Explain database

Proper cleanup (isamb_close) for bad headers

Use xmlGetLineNo instead of xmlGetNodePath for errors/warnings