Merge branch 'master' into paz-927

Build packages for Ubuntu Trusty Tahr 14.04 LTS

Handle medium override AND md field

Version 1.6.40

Upd NEWS

sortmap relevance always uses increasing=1 PAZ-930

Ensure medium is also applied if Solr record do not have it PAZ-929

add template match 'medium' to cf stylesheet

Inactive clients gets there connections closed

The trick is to set a 1 second timeout on the channel.

test_http#65: Wait before bytarget

There is a search preceding it, so we have to wait for that to
become stable.

Merge branch 'master' into paz-927

Allow deprecated ICU definitions again

Partially reverts 77682ed3596450ab7b3caff707999d2f7977d614.

Remove two functions not in use

Discover lost connections immediately

ZOOM C will return mask of 0, when it is "idle". We fake it to be
select on read so that we can detect when a session is lost.

Remove incorrect comment

Merge branch 'master' into paz-927

Do not use deprecated ICU definitions

getaddrinfo/host sub system gone

At this point, there's no transfer of connection between sessions.
That was implicitly handled by the host database before.

Fix leak in getaddrinfo usage for HTTP listener

Not a big deal because this code is only executed once.

Yet another wait in test_filter#3

Remove support for deprecated ICU definitions

Elements <relevance>, <sort>, <mergekey>, <facet> should be replaced
with <icu_chain id="relevance">.. etc. Fixes also PAZ-923

Fix typos is sortmap documentation

Doc: fix misplaced variablelist tag.

Version 1.6.39

Fix YAZ version for memcached support

Doc: update information about ID packages for Pazpar2

Doc: update WRT ICU which is configured for YAZ; not Pazpar2

It's been like that since version 1.1.1 from August 2009.

Document pz:memcached target setting

Doc: target settings in alphabetical order

test: 1st test waits util Pazpar2 is ready PAZ-921

A sleep of 2 seconds is removed by this. In most cases, running tests will
be faster.

Make test_url.sh test for two-level metadata structure

Rename service_add_metadata to count_metadata

Remove XML_PARSE_NOBLANKS from xmlReadFile

With XML_PARSE_NOBLANKS test_url_19 fails.

Avoid mixed stmt/var declare

add support for a <metadata> container tag

so one can have a setup like

<metadata>
<metadata name="language" brief="yes" merge="unique" termlist="yes"/>
<metadata name="id" brief="yes"/>
<metadata name="lccn" merge="unique"/>
</metadata>

The underlying desire is to be able to include the complete metadata setup with XInclude.
This requires us to have a single container with all elements.

This patch adjust the metadata element counting and evaluation to interpret both metadata tags on their own and containers with metadata tags in them.
Attributes of a metadata container tag are ignored.

add support for XInclude in the main configuration file

Insert wait for 30, 36 of test_limit_limitmap PAZ-918

Add client_{lock,unlock} before call to non_block_events

in connection_continue. Problem is that if non_block_events
fire records, then we will not unlock client at all. And as
a result a dead-lock occurs.

YLOG_DEBUG msg

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2

Add pz:memcached option

Not really in stable YAZ yet, but it does not harm to have it now.

Pass context.windowid (in most situations) instead of this.windowid
JavaScript `this', from Hell's heart I stab at thee!

All invocations of callbacks supplied by client code now pass
this.windowid.

Constructor accepts optional "windowid" parameter, and uses this as
the windowid of all operations. Defaults to window.name if not
specified, mimicking old behaviour.

Add relevance-todo-heikki.txt for restarting later

Version 1.6.38

Add Debian jessie, Ubuntu saucy, raring

Upd NEWS

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2

Add test for trailing chars PAZ-915

Avoid removal of trailing chars if metadata looks like URL PAZ-915

Only use XDR when doing CORS

favor XHR in all other circumstances

Happy new year

Omit copyright year range from most source files. We don't want to
update them every year anymore.

Towards cluster ranking, minor changes

Remove unnecessary check from reclist enter/leave

These used to check that the reclist pointer was not null,
but only after dereferencing it once...

Add reclist rewind function

starts the reclist from beginning, but does not touch the mutex

Fitting: better initial guess

The two test cases now converge to within two decimals in 19 and 46
iterations, which must be good enough. The results look reasonable.

normalizing finally seems to converge

Merge branch 'master' of ssh://git.indexdata.com:222/home/git/pub/pazpar2

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2

Fix incorrect results for test_cluster_9 PAZ-911

The problem was that record where checked for comparison even though
they shouldn't be - in case of cluster merge.

testing: disable APDU logging for yaz-ztest

For some reason test_filter_16 fails with APDU logging enabled.
Indicates that result depends on how yaz-ztest responds.

Merge branch 'master' of ssh://git.indexdata.com:222/home/git/pub/pazpar2

Curve fitting that converges somewhat better
Now (in one test), 28 iterations instead of 1000.
This is for 2 decimals. I am still not quite happy about
the resulting ranks, need to take another look some day.

Better cluster test

Unfortunately needs YAZ 5.0.7. So, test_cluster.sh is not enabled by
default yet.

Towards normalized rankings (PAZ-909)
Can extract native ranks, and normalize them (also normalizes
our TF/IDF and position-based pseudorankings to the same level).
Does not yet merge individual record ranks into cluster ranks.
Default behavior should be the same as before.

Cluster test

Remove a few YLOG_LOG stmts

Handle metadata_type in a few more places

Reformat a bit

New metadata type, float, for metadata score PAZ-908

Typo.
]

pz2.js: Allow overidding cookie do

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2

Fix warning: ‘struct relevance’ declared inside parameter list

pass score into metadata, if there.

dbc-opensearch-gw now tries to fetch the score too, and massages it into
a good place. This change passes it on so we can see it in pz2, and use
for sorting or merging scores

Fixes for record cluster merge, PAZ-901

Remove unused code section

Cluster merge working PAZ-901

Note that metadata and sortkeys from cluster is not yet merged.
Existing cluster metadata and sortkeys will be effective values.

Work on cluster merging; part of PAZ-901

Fix setting recid (tests pass again)

Start work on multiple mergekeys - tests do not pass

Client state to "working" when waiting for resolver PAZ-907

Doc: relevance section refer to config description

Enable Solr tests again PAZ-894

Also some tests results due to other order of records within
cluster PAZ-902.

Log when session terminates PAZ-905

And remove logging about service_incref.

Fix LSB/HS conformance for /etc/init.d/pazpar2 PAZ-904

Debian: add support for /etc/init.d/pazpar2 status

Version 1.6.37

Fix 'Record Missing' PAZ-903

The problem was that the sorted_next is not updated when a new cluster
is added. This resets sorted_list and sorted_ptr which makes
reclist_limit re-make the sorted_list again.

Preserve order of records within cluster PAZ-902

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/pazpar2

testing: add missing sh test

Update WIN makefile for YAZ 5.

testing: use yaz-ztest -V if possible

testing: use yaz-ztest in sibling directory

testing: display test name in all msgs

testing: suppress diff warning + minor refactor

Testing fixes: handle without icu/ztest cases better

Remove unreachable code from relevance_snippet

Clean up test scripts

yaz-ztest daemon handling and ICU check is now handled in
run_pazpar2.sh.