New ZOOM utility ZOOM_query_sortby2

That takes a strategy parameter: one of "z3950", "type7", "cql", "sru11"
or "embed". The "embed" chooses type-7 or CQL sortby depending on whether
Type-1 or CQL is actually sent to the target. "sru11" not implemented
yet.

New functions yaz_sort_spec_to_{cql,type7}

These two new functions convert a Z39.50 SortKeySpecList to CQL
SORTBY and Type-1/RPN with type-7 sorting. Tests in test_sortspec.c.

rpn2solr supports Z39.58 truncation (104)

Thus, CCL truncation mode t=z will make it possible to use both
single-character mask (#) and wildcard (?) in CCL . Throw diagnostic
for left truncation because that is not supported by SOLR.

Version 4.2.13

Notes on changes

Update m4 for improved ICU check fixes

yaz-client: allow scanpos of "none"

For special value scanpos "none", yaz-client omits preferred position
in response for scan.

cql2pqf: refactor truncation handling and fix Z39.58 mode

Refactor the CQL to PQF term code in cqltransform.c. Characters that
don't need escaping aren't and characters that do need escaping are.
For example CQL query a#a? must be handled as a Z39.58 mode query
because the trailing ? (single-character mask in CQL). But since the
generated term includes #, it must be escaped and survive the PQF parse,
thus the result is "\\#a#" (was "a#a# before). Also the CQL term a*3 now
produces "a?\\3" rather than "a?3" . This is becauase a?n has special
meaning in Z39.58. Characters that do need escaping are the PQF specials
" and \\. Rest are preseved and \-sequence in CQL are otherwise removed.

CQL/CCL/PQF conversion fixes. CCL support for Z39.58 trunc

Lots of fixes for the conversions from CQL to CCL; CCL to RPN;
RPN to CQL. yaz_encode_pqf_term's term parameter properly
escaped into PQF term. CCL truncation configuration t=z
enables Z39.58 truncation which is in fact CCL truncation, but there's
more to it than one might think anyway. The RPN to CCL conversion
handles Z39.58 truncation as well (5=104).

cql2ccl: term code for all/any sequences as well

cql2ccl: fix handling of \\

Add test of cql_to_ccl

Trunc 104 is Z39.58

cql2ccl: handle CQL \-sequences differently

For most CQL \-sequences do not produce \-sequence in resulting
CCL term. Only \" and \\ are special

bin-1 ref: mention Index Data's extensions

ccl2rpn: more characters to escape (regexp-1).

rpn2cql: handle \\ sequence

PQF parsing: handle \\\0 sequence

A truncated PQF term, backslash as last character, would resolve in
read one byte beyond end of string.

Version 4.2.12

cql2ccl: quote term characters, except operators

Fixes #4584.

Version 4.2.11

Changes

ccl2rpn: Conversion to regexp-1 terms (trunc=102).

For mode t=x, the CCL parser will map both # and ? to their regular
expression equivalents (. and .*).

rpn2cql: deal with truncation=102 (regexp-1)

And ensure proper quoting of reserved CQL characters.

cql2ccl: deal with both * and ? in conversion

Also leave escaped ones as is, so that they are pass-through.

CCL: retain ? for CCL terms

Version 4.2.10

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Describe recent changes.

rpn2cql_structure() supports proximity nodes (except that the Type-1
proximity node's "exclusion" binary is ignored, as there is no way to
express that in CQL).  Fixes bug #4564.

Ignore generated script yaz-url

Public declaration for yaz_prox_unit_name()

ZOOM: HTTP prepare for reconnect if server don't say so

In case the server HTTP/1.1 says Keep-Alive, we set the reconnect_ok
to 1, if it closes anyway. Fixes #4555.

static prox_unit_name() renamed to yaz_prox_unit_name(), made external.

GFS: mention -K in usage

Lint-clean: void out an unused return value.

zoomtst3: setting option step=5

This is to illustrate the step option and to check that it actually
works.

Version 4.2.9

zoomsh: fix SEGV for set command wo value

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Check for invalid COMSTACK addresses

Check return value of cs_parse_host in cs_create_host_proxy. For
example, yaz-url would SEGV if ssl/https was given and SSL was
not enabled in the built (as it happens on Windows).

nmake: build yaz_url

Version 2.4.8

yaz-url + man page installed and part of packages

Update other version of tcpip_straddr for https too

yaz-url: Opt -O writes output to file instead of stdout

tcpip_straddr: Use port 443 for https

GFS: close connection immediately if EOF is received.

Previously the assocation was marked DEAD and that could lead to
a few seconds hang on SSL connections.

SSL: Handle EOF case in ssl_get

If gnutls was in use and gnutls_record_recv returned 0 (EOF)
the ssl_get function would never terminate.

sockets: fix for whether poll is available

The select(2) wrapper was in use even though poll(2) was available.

yaz-url: HTTP method may be given. Change header (-H) option.

Argument for -H is now name:value rather than name=value - it just
seems more natural for Web hackers that way.

yaz-url: display usage if no ULRs are given

New utility yaz_url: fetches HTTP content

This is a simple wrapper around COMSTACK and HTTP utilities; deals
with proxy'ing.

zoomsh: fix set command to use remaning args for value

Before, only one token was taken as value for set (or one would have to
quote if a token contained space).

yaz_pqf_parse_facet_list returns FAIL (0) for bad facet spec

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

yaz_pqf_parser_facet_list also reads term list

Thus yaz_pqf_parser_facet_list might also be used to create a facet
response.

New utility: nmem_strsplit_escape

Testin wrbuf_insert

New WRBUF utility: wrbuf_insert

Remove unused code

Base64 utilities public

Remove variables and assignments with no effect

As warned by newer GCC.

zoomsh: remove unused code for cmd facets

void mixed stmt/var declare

client: proper recid passing

Version 4.2.7

ZOOM: addinfo includes HTTP content when SRU decode fails

When ZOOM C sees an SRU responst that it cannot decode it
returns "meta" diagnostic ZOOM_ERROR_DECODE/10003 . The additional
info now contains the HTTP content.

Make json_write_wrbuf available

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Version 4.2.6

Add YAZ_EXPORT for wrbuf_vp_puts

ZOOM: throw diagnostic for invalid sru value

rpn2cql: check for proper truncation attributes

Reformat

cql2xcql: option -s deals with CQL sortkeys

Adding new utility wrbuf_vp_puts

Header updates

Remove assignment to variables not in use.

Fixes warnings produced by GCC 4.6.1.

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Add cclxmlconfig.obj

yaz_is_abspath: drive letter test NOT using isalpha

isalpha is problematic for signed chars and we assume drive letters are
[a-zA-Z] only; also isalpha depends locale.

Reformat

Change yaz_filepath_resolve for path="" (empty)

Applying empty path is equivalent to not passing a path at all or
passing just the path ".".

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Version 4.2.5

ZOOM HTTP: refactor and simplify redirect/proxy code

ZOOM C: fix un-init var for cookie buffer

ZOOM HTTP: proxy uses full URI in HTTP header

Squid don't seem to like
 GET /?operation.. HTTP/1.1
but rather
 GET http://host/?operation HTTP/1.1
When HTTP proxy is in effect. When proxying the new function
cs_create_host_proxy is used to so comstack type is determined from
logical URL rather than proxy host. Proxy just needs host:port type of
spec. Note: this change might break HTTP redirect.

Add cs_create_host_proxy

This is similar to cs_create_host but allows a proxy to be given.
Comstack type is still taken from vhost (logical host).

MARC line decoding: be less picky about length given

Still, the MARC record must have 5 leading digits so we can
distinguish this from header and other lines.

cql_to_ccl deals with proximity , bug #4407

The CQL proximity modifiers are supported: unordered (CCL %),
ordered (CCL !), distance with relation <= and < , unit with value
word. Anything but those throws an error.

Reformat

Fix up SRU recordData with pseudo root

This is to make recordData XML parseable (document) in case it is an
XML fragment. The inserted root is <yaz-record>. Fixes #4453.

Spell fix

Merge branch 'master' of ssh://git.indexdata.com/home/git/pub/yaz

Create constant for SRW max parameters

Encode special characters in term

Add support for extra parameters

Spell fix in comment