index/zvrank.c

   1 /* $Id: zvrank.c,v 1.19 2005-08-19 11:04:23 adam Exp $
   2    Copyright (C) 1995-2005
   3    Index Data ApS
   4
   5    This file is part of the Zebra server.
   6
   7    Zebra is free software; you can redistribute it and/or modify it under
   8    the terms of the GNU General Public License as published by the Free
   9    Software Foundation; either version 2, or (at your option) any later
  10    version.
  11
  12    Zebra is distributed in the hope that it will be useful, but WITHOUT ANY
  13    WARRANTY; without even the implied warranty of MERCHANTABILITY or
  14    FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
  15    for more details.
  16
  17    You should have received a copy of the GNU General Public License
  18    along with Zebra; see the file LICENSE.zebra.  If not, write to the
  19    Free Software Foundation, 59 Temple Place - Suite 330, Boston, MA
  20    02111-1307, USA.
  21 */
  22
  23 /*
  24 Zvrank: an experimental ranking algorithm. See doc/zvrank.txt and
  25 source in index/zvrank.c. Enable this by using rank: zvrank in zebra.cfg.
  26 Contributed by Johannes Leveling <Johannes.Leveling at
  27 fernuni-hagen.de>
  28 */
  29
  30 /* Zebra Vector Space Model RANKing
  31 **
  32 ** six (seven) letter identifier for weighting scheme
  33 ** best document weighting:
  34 **  tfc nfc (tpc npc) [original naming]
  35 **  ntc atc  npc apc  [SMART naming, used here]
  36 ** best query weighting:
  37 **  nfx tfx bfx (npx tpx bpx) [original naming]
  38 **  atn ntn btn  apn npn bpn  [SMART naming]
  39 ** -> should set zvrank.weighting-scheme to one of
  40 ** "ntc-atn", "atc-atn", etc.
  41 */
  42
  43
  44 #include <math.h>  /* for log */
  45
  46 #include <stdio.h>
  47 #include <assert.h>
  48 #ifdef WIN32
  49 #include <io.h>
  50 #else
  51 #include <unistd.h>
  52 #endif
  53
  54 #include "index.h"
  55
  56 static int log_level = 0;
  57 static int log_initialized = 0;
  58
  59 static double blog(double x) {
  60     /* log_2, log_e or log_10 is used, best to change it here if necessary */
  61     if (x <= 0)
  62         return 0.0;
  63     return log(x); /* / log(base) */
  64 }
  65
  66 /* structures */
  67
  68 struct rank_class_info {
  69     char rscheme[8];    /* name of weighting scheme */
  70 };
  71
  72
  73 struct rs_info {      /* for result set */
  74     int db_docs;        /* number of documents in database (collection) */
  75     int db_terms;       /* number of distinct terms in database (debugging?) */
  76     int db_f_max;       /* maximum of f_t in database (debugging?) */
  77     char *db_f_max_str; /* string (most frequent term) - for debugging */
  78     /**/
  79     char rscheme[8];    /* name of weighting scheme */
  80     /**/
  81     int veclen;
  82     NMEM nmem;
  83     void (*d_tf_fct)(void *, void *);   /* doc term frequency function */
  84     void (*d_idf_fct)(void *, void *);  /* doc idf function */
  85     void (*d_norm_fct)(void *, void *); /* doc normalization function */
  86     /**/
  87     void (*q_tf_fct)(void *, void *);   /* query term frequency function */
  88     void (*q_idf_fct)(void *, void *);  /* query idf function */
  89     void (*q_norm_fct)(void *, void *); /* query normalization function */
  90
  91     double (*sim_fct)(void *, void *);  /* similarity function (scoring function) */
  92     struct ds_info *qdoc;
  93     struct ds_info *rdoc;
  94 };
  95 typedef struct rs_info *RS;
  96
  97 static void prn_rs(RS rs) { /* for debugging */
  98     yaz_log(log_level, "* RS:");
  99     yaz_log(log_level, " db_docs:   %d", rs->db_docs);
 100     yaz_log(log_level, " db_terms:  %d", rs->db_terms);
 101     yaz_log(log_level, " f_max:     %d", rs->db_f_max);
 102     yaz_log(log_level, " f_max_str: %s", rs->db_f_max_str);
 103     yaz_log(log_level, " veclen:    %d", rs->veclen);
 104     /* rscheme implies functions */
 105     yaz_log(log_level, " rscheme:   %s", rs->rscheme);
 106     return;
 107 }
 108
 109 struct ds_info {       /* document info */
 110     char *docid;         /* unique doc identifier */
 111     int  docno;          /* doc number */
 112     int doclen;          /* document length */
 113     int d_f_max;         /* maximum number of any term in doc (needed) */
 114     char *d_f_max_str;   /* most frequent term in d - for debugging */
 115     int veclen;          /* vector length */
 116     struct ts_info *terms;
 117     double docsim;       /* similarity in [0, ..., 1] (= score/1000) */
 118 };
 119 typedef struct ds_info* DS;
 120
 121 #if 0
 122 static void prn_ds(DS ds) { /* for debugging */
 123     yaz_log(log_level, " * DS:");
 124     yaz_log(log_level, " docid:      %s", ds->docid);
 125     yaz_log(log_level, " docno:      %d", ds->docno);
 126     yaz_log(log_level, " doclen:     %d", ds->doclen);
 127     yaz_log(log_level, " d_f_max:    %d", ds->d_f_max);
 128     yaz_log(log_level, " d_f_max_str:%s", ds->d_f_max_str);
 129     yaz_log(log_level, " veclen:     %d", ds->veclen);
 130     return;
 131 }
 132 #endif
 133
 134 struct ts_info {       /* term info */
 135     char *name;
 136     int *id;
 137     /**/
 138     zint gocc;
 139     int locc;
 140     double tf;
 141     double idf;
 142     double wt;
 143 };
 144 typedef struct ts_info *TS;
 145
 146 #if 0
 147 static void prn_ts(TS ts) { /* for debugging */
 148     yaz_log(log_level, " * TERM:%s gocc:%d locc:%d  tf:%f idf:%f wt:%f",
 149             ts->name, ts->gocc, ts->locc, ts->tf, ts->idf, ts->wt);
 150     return;
 151 }
 152 #endif
 153
 154 /* end structures */
 155
 156 /* *** */
 157
 158 /*
 159 ** weighting functions
 160 ** check: RS is not needed anymore
 161 */
 162
 163 /* calculate and store new term frequency vector */
 164 static void tf_none(void *rsi, void *dsi) {
 165     DS ds=(DS)dsi;
 166     int i, veclen, freq;
 167     /* no conversion. 1 <= tf */
 168     veclen=ds->veclen;
 169     for (i=0; i < veclen; i++) {
 170         freq=ds->terms[i].locc;
 171         ds->terms[i].tf=freq;
 172     }
 173     return;
 174 }
 175
 176 static void tf_binary(void *rsi, void *dsi) {
 177     DS ds=(DS)dsi;
 178     int i, veclen, freq;
 179     /* tf in {0, 1} */
 180     veclen=ds->veclen;
 181     for (i=0; i < veclen; i++) {
 182         freq=ds->terms[i].locc;
 183         if (freq > 0)
 184             ds->terms[i].tf=1.0;
 185         else
 186             ds->terms[i].tf=0.0;
 187     }
 188     return;
 189 }
 190
 191 static void tf_max_norm(void *rsi, void *dsi) {
 192     DS ds=(DS)dsi;
 193     double tf_max;
 194     int i, veclen, freq;
 195     /* divide each term by max, so 0 <= tf <= 1 */
 196     tf_max=ds->d_f_max; /* largest frequency of t in document */
 197     veclen=ds->veclen;
 198     for (i=0; i < veclen; i++) {
 199         freq=ds->terms[i].locc;
 200         if ((freq > 0) &&
 201             (tf_max > 0.0))
 202             ds->terms[i].tf=freq/tf_max;
 203         else
 204             ds->terms[i].tf=0.0;
 205     }
 206     return;
 207 }
 208
 209 static void tf_aug_norm(void *rsi, void *dsi) {
 210     DS ds=(DS)dsi;
 211     double K;
 212     double tf_max;
 213     int i, veclen, freq;
 214     /* augmented normalized tf. 0.5 <= tf <= 1  for K = 0.5 */
 215     tf_max=ds->d_f_max; /* largest frequency of t in document */
 216     veclen=ds->veclen;
 217     K=0.5; /* zvrank.const-K */
 218     for (i=0; i < veclen; i++) {
 219         freq=ds->terms[i].locc;
 220         if ((freq > 0) &&
 221             (tf_max > 0.0))
 222             ds->terms[i].tf=K+(1.0-K)*(freq/tf_max);
 223         else
 224             ds->terms[i].tf=0.0;
 225     }
 226     return;
 227 }
 228
 229 static void tf_square(void *rsi, void *dsi) {
 230     DS ds=(DS)dsi;
 231     int i, veclen, freq;
 232     /* tf ^ 2 */
 233     veclen=ds->veclen;
 234     for (i=0; i < veclen; i++) {
 235         freq=ds->terms[i].locc;
 236         if (freq > 0)
 237             ds->terms[i].tf=freq*freq;
 238         else
 239             ds->terms[i].tf=0.0;
 240     }
 241     return;
 242 }
 243
 244 static void tf_log(void *rsi, void *dsi) {
 245     DS ds=(DS)dsi;
 246     int i, veclen, freq;
 247     /* logarithmic tf */
 248     veclen=ds->veclen;
 249     for (i=0; i < veclen; i++) {
 250         freq=ds->terms[i].locc;
 251         if (freq > 0)
 252             ds->terms[i].tf=1.0+blog(freq);
 253         else
 254             ds->terms[i].tf=0.0;
 255     }
 256     return;
 257 }
 258
 259 /* calculate and store inverse document frequency vector */
 260 static void idf_none(void *rsi, void *dsi) {
 261     DS ds=(DS)dsi;
 262     int i, veclen;
 263     /* no conversion */
 264     veclen=ds->veclen;
 265     for (i=0; i < veclen; i++) {
 266         ds->terms[i].idf=1.0;
 267     }
 268     return;
 269 }
 270
 271 static void idf_tfidf(void *rsi, void *dsi) {
 272     RS rs=(RS)rsi;
 273     DS ds=(DS)dsi;
 274     zint num_docs, gocc;
 275     int i, veclen;
 276     double idf;
 277     /* normal tfidf weight */
 278     veclen=ds->veclen;
 279     num_docs=rs->db_docs;
 280     for (i=0; i < veclen; i++) {
 281         gocc=ds->terms[i].gocc;
 282         if (gocc==0)
 283             idf=0.0;
 284         else
 285             idf=blog((double) (num_docs/gocc));
 286         ds->terms[i].idf=idf;
 287     }
 288     return;
 289 }
 290
 291 static void idf_prob(void *rsi, void *dsi) {
 292     RS rs=(RS)rsi;
 293     DS ds=(DS)dsi;
 294     zint num_docs, gocc;
 295     int i, veclen;
 296     double idf;
 297     /* probabilistic formulation */
 298     veclen=ds->veclen;
 299     num_docs=rs->db_docs;
 300     for (i=0; i < veclen; i++) {
 301         gocc=ds->terms[i].gocc;
 302         if (gocc==0)
 303             idf=0.0;
 304         else
 305             idf=blog((double) ((num_docs-gocc)/gocc));
 306         ds->terms[i].idf=idf;
 307     }
 308     return;
 309 }
 310
 311 static void idf_freq(void *rsi, void *dsi) {
 312     RS rs=(RS)rsi;
 313     DS ds=(DS)dsi;
 314     int num_docs;
 315     int i, veclen;
 316     double idf;
 317     /* frequency formulation */
 318     veclen=ds->veclen;
 319     num_docs=rs->db_docs;
 320     if (num_docs==0)
 321         idf=0.0;
 322     else
 323         idf=1.0/num_docs;
 324     for (i=0; i < veclen; i++) {
 325         ds->terms[i].idf=idf;
 326     }
 327     return;
 328 }
 329
 330 static void idf_squared(void *rsi, void *dsi) {
 331     RS rs=(RS)rsi;
 332     DS ds=(DS)dsi;
 333     zint num_docs, gocc;
 334     int i, veclen;
 335     double idf;
 336     /* idf ^ 2 */
 337     veclen=ds->veclen;
 338     num_docs=rs->db_docs;
 339     yaz_log(log_level, "idf_squared: db_docs required");
 340     for (i=0; i < veclen; i++) {
 341         gocc=ds->terms[i].gocc;
 342         if (gocc==0)
 343             idf=0.0;
 344         else
 345             idf=blog(CAST_ZINT_TO_DOUBLE(num_docs/gocc));
 346         idf=idf*idf;
 347         ds->terms[i].idf=idf;
 348     }
 349     return;
 350 }
 351
 352 /* calculate and store normalized weight (tf-idf) vector */
 353 static void norm_none(void *rsi, void *dsi) {
 354     DS ds=(DS)dsi;
 355     int i, veclen;
 356     /* no normalization */
 357     veclen=ds->veclen;
 358     for (i=0; i < veclen; i++) {
 359         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
 360     }
 361     return;
 362 }
 363
 364 static void norm_sum(void *rsi, void *dsi) {
 365     DS ds=(DS)dsi;
 366     int i, veclen;
 367     double tfs=0.0;
 368     /**/
 369     veclen=ds->veclen;
 370     for (i=0; i < veclen; i++) {
 371         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
 372         tfs+=ds->terms[i].wt;
 373     }
 374     if (tfs > 0.0)
 375         for (i=0; i < veclen; i++) {
 376             ds->terms[i].wt=ds->terms[i].wt/tfs;
 377         }
 378     /* else: tfs==0 && ds->terms[i].wt==0 */
 379     return;
 380 }
 381
 382 static void norm_cosine(void *rsi, void *dsi) {
 383     DS ds=(DS)dsi;
 384     int i, veclen;
 385     double tfs=0.0;
 386     /**/
 387     veclen=ds->veclen;
 388     for (i=0; i < veclen; i++) {
 389         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
 390         tfs+=(ds->terms[i].wt*ds->terms[i].wt);
 391     }
 392     tfs=sqrt(tfs);
 393     if (tfs > 0.0)
 394         for (i=0; i < veclen; i++) {
 395             ds->terms[i].wt=ds->terms[i].wt/tfs;
 396         }
 397     /* else: tfs==0 && ds->terms[i].wt==0 */
 398     return;
 399 }
 400
 401 static void norm_fourth(void *rsi, void *dsi) {
 402     DS ds=(DS)dsi;
 403     int i, veclen;
 404     double tfs=0.0, fr;
 405     /**/
 406     veclen=ds->veclen;
 407     for (i=0; i < veclen; i++) {
 408         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
 409         fr=(ds->terms[i].wt*ds->terms[i].wt);
 410         fr=fr*fr; /* ^ 4 */
 411         tfs+=fr;
 412     }
 413     if (tfs > 0.0)
 414         for (i=0; i < veclen; i++) {
 415             ds->terms[i].wt=ds->terms[i].wt/tfs;
 416         }
 417     /* else: tfs==0 && ds->terms[i].wt==0 */
 418     return;
 419 }
 420
 421 static void norm_max(void *rsi, void *dsi) {
 422     DS ds=(DS)dsi;
 423     int i, veclen;
 424     double tfm=0.0;
 425     /**/
 426     veclen=ds->veclen;
 427     for (i=0; i < veclen; i++) {
 428         ds->terms[i].wt=ds->terms[i].tf*ds->terms[i].idf;
 429         if (ds->terms[i].wt > tfm)
 430             tfm=ds->terms[i].wt;
 431     }
 432     if (tfm > 0.0)
 433         for (i=0; i < veclen; i++) {
 434             ds->terms[i].wt=ds->terms[i].wt/tfm;
 435         }
 436     /* else: tfs==0 && ds->terms[i].wt==0 */
 437     return;
 438 }
 439
 440 /* FIXME add norm_pivot, ... */
 441
 442 static double sim_cosine(void *dsi1, void *dsi2) {
 443     DS ds1=(DS)dsi1;
 444     DS ds2=(DS)dsi2;
 445     int i, veclen;
 446     double smul=0.0, sdiv=0.0, sqr11=0.0, sqr22=0.0;
 447     double v1, v2;
 448     /**/
 449     veclen=ds1->veclen; /* and ds2->veclen */
 450     for (i=0; i < veclen; i++) {
 451         v1=ds1->terms[i].wt;
 452         v2=ds2->terms[i].wt;
 453         smul +=(v1*v2);
 454         sqr11+=(v1*v1);
 455         sqr22+=(v2*v2);
 456     }
 457     sdiv=sqrt(sqr11*sqr22);
 458     if (sdiv==0.0)
 459         return 0.0;
 460     return (smul/sdiv);
 461 }
 462
 463 /* FIXME: add norm_jaccard, norm_dice, ... */
 464
 465 /* end weighting functions */
 466
 467 /* *** */
 468
 469 static void zv_init_scheme(RS rs, const char *sname) {
 470     int slen;
 471     char c0, c1, c2, c3, c4, c5, c6;
 472     const char *def_rscheme="ntc-atn"; /* a good default */
 473     /**/
 474     yaz_log(log_level, "zv_init_scheme");
 475     slen=strlen(sname);
 476     if (slen < 7)
 477         yaz_log(log_level, "zvrank: invalid weighting-scheme \"%s\"", sname);
 478     if (slen > 0) c0=sname[0]; else c0=def_rscheme[0];
 479     if (slen > 1) c1=sname[1]; else c1=def_rscheme[1];
 480     if (slen > 2) c2=sname[2]; else c2=def_rscheme[2];
 481     c3='-';
 482     if (slen > 4) c4=sname[4]; else c4=def_rscheme[4];
 483     if (slen > 5) c5=sname[5]; else c5=def_rscheme[5];
 484     if (slen > 6) c6=sname[6]; else c6=def_rscheme[6];
 485
 486     /* assign doc functions */
 487     switch (c0)
 488     {
 489         case 'b':
 490             rs->d_tf_fct=tf_binary;
 491             rs->rscheme[0]='b';
 492             break;
 493         case 'm':
 494             rs->d_tf_fct=tf_max_norm;
 495             rs->rscheme[0]='m';
 496             yaz_log(log_level, "tf_max_norm: d_f_max required");
 497             break;
 498         case 'a':
 499             rs->d_tf_fct=tf_aug_norm;
 500             rs->rscheme[0]='a';
 501             yaz_log(log_level, "tf_aug_norm: d_f_max required");
 502             break;
 503         case 's':
 504             rs->d_tf_fct=tf_square;
 505             rs->rscheme[0]='s';
 506             break;
 507         case 'l':
 508             rs->d_tf_fct=tf_log;
 509             rs->rscheme[0]='l';
 510             break;
 511         default: /* 'n' */
 512             rs->d_tf_fct=tf_none;
 513             rs->rscheme[0]='n';
 514     }
 515     switch (c1)
 516     {
 517         case 't':
 518             rs->d_idf_fct=idf_tfidf;
 519             rs->rscheme[1]='t';
 520             yaz_log(log_level, "idf_tfidf: db_docs required");
 521             break;
 522         case 'p':
 523             rs->d_idf_fct=idf_prob;
 524             rs->rscheme[1]='p';
 525             yaz_log(log_level, "idf_prob: db_docs required");
 526             break;
 527         case 'f':
 528             rs->d_idf_fct=idf_freq;
 529             rs->rscheme[1]='f';
 530             yaz_log(log_level, "idf_freq: db_docs required");
 531             break;
 532         case 's':
 533             rs->d_idf_fct=idf_squared;
 534             rs->rscheme[1]='s';
 535             yaz_log(log_level, "idf_squared: db_docs required");
 536             break;
 537         default: /* 'n' */
 538             rs->d_idf_fct=idf_none;
 539             rs->rscheme[1]='n';
 540     }
 541     switch (c2)
 542     {
 543         case 's':
 544             rs->d_norm_fct=norm_sum;
 545             rs->rscheme[2]='s';
 546             break;
 547         case 'c':
 548             rs->d_norm_fct=norm_cosine;
 549             rs->rscheme[2]='c';
 550             break;
 551         case 'f':
 552             rs->d_norm_fct=norm_fourth;
 553             rs->rscheme[2]='t';
 554             break;
 555         case 'm':
 556             rs->d_norm_fct=norm_max;
 557             rs->rscheme[2]='m';
 558             break;
 559         default: /* 'n' */
 560             rs->d_norm_fct=norm_none;
 561             rs->rscheme[2]='n';
 562     }
 563     rs->rscheme[3]='-';
 564     /* assign query functions */
 565     switch (c4)
 566     {
 567         case 'b':
 568             rs->q_tf_fct=tf_binary;
 569             rs->rscheme[4]='b';
 570             break;
 571         case 'm':
 572             rs->q_tf_fct=tf_max_norm;
 573             yaz_log(log_level, "tf_max_norm: d_f_max required");
 574             rs->rscheme[4]='m';
 575             break;
 576         case 'a':
 577             rs->q_tf_fct=tf_aug_norm;
 578             rs->rscheme[4]='a';
 579             yaz_log(log_level, "tf_aug_norm: d_f_max required");
 580             break;
 581         case 's':
 582             rs->q_tf_fct=tf_square;
 583             rs->rscheme[4]='s';
 584             break;
 585         case 'l':
 586             rs->q_tf_fct=tf_log;
 587             rs->rscheme[4]='l';
 588             break;
 589         default: /* 'n' */
 590             rs->q_tf_fct=tf_none;
 591             rs->rscheme[4]='n';
 592     }
 593     switch (c5)
 594     {
 595         case 't':
 596             rs->q_idf_fct=idf_tfidf;
 597             rs->rscheme[5]='t';
 598             yaz_log(log_level, "idf_tfidf: db_docs required");
 599             break;
 600         case 'p':
 601             rs->q_idf_fct=idf_prob;
 602             rs->rscheme[5]='p';
 603             yaz_log(log_level, "idf_prob: db_docs required");
 604             break;
 605         case 'f':
 606             rs->q_idf_fct=idf_freq;
 607             rs->rscheme[5]='f';
 608             yaz_log(log_level, "idf_freq: db_docs required");
 609             break;
 610         case 's':
 611             rs->q_idf_fct=idf_squared;
 612             rs->rscheme[5]='s';
 613             yaz_log(log_level, "idf_squared: db_docs required");
 614             break;
 615         default: /* 'n' */
 616             rs->q_idf_fct=idf_none;
 617             rs->rscheme[5]='n';
 618     }
 619     switch (c6)
 620     {
 621         case 's':
 622             rs->q_norm_fct=norm_sum;
 623             rs->rscheme[6]='s';
 624             break;
 625         case 'c':
 626             rs->q_norm_fct=norm_cosine;
 627             rs->rscheme[6]='c';
 628             break;
 629         case 'f':
 630             rs->q_norm_fct=norm_fourth;
 631             rs->rscheme[6]='f';
 632             break;
 633         case 'm':
 634             rs->q_norm_fct=norm_max;
 635             rs->rscheme[6]='m';
 636             break;
 637         default: /* 'n' */
 638             rs->q_norm_fct=norm_none;
 639             rs->rscheme[6]='n';
 640     }
 641     rs->rscheme[7]='\0';
 642     rs->sim_fct=sim_cosine;
 643     yaz_log(log_level, "zv_scheme %s", rs->rscheme);
 644 }
 645
 646 static void zv_init(RS rs, const char *rscheme) {
 647     yaz_log(log_level, "zv_init");
 648     /**/
 649     rs->db_docs=100000;   /* assign correct value here */
 650     rs->db_terms=500000;  /* assign correct value here (for debugging) */
 651     rs->db_f_max=50;      /* assign correct value here */
 652     rs->db_f_max_str="a"; /* assign correct value here (for debugging) */
 653     /* FIXME - get those values from somewhere */
 654     zv_init_scheme(rs, rscheme);
 655     return;
 656 }
 657
 658 /******/
 659
 660 /*
 661  * zv_create: Creates/Initialises this rank handler. This routine is
 662  *  called exactly once. The routine returns the class_handle.
 663  */
 664 static void *zv_create (ZebraHandle zh) {
 665     int i;
 666     Res res = zh->res;
 667     const char *wscheme;
 668     struct rank_class_info *ci = (struct rank_class_info *)
 669         xmalloc (sizeof(*ci));
 670     if (!log_initialized)
 671     {
 672         log_level = yaz_log_module_level("zvrank");
 673         log_initialized = 1;
 674     }
 675
 676     yaz_log(log_level, "zv_create");
 677     wscheme=  res_get_def(res, "zvrank.weighting-scheme", "");
 678     for (i = 0; wscheme[i] && i < 8; i++)
 679         ci->rscheme[i]=wscheme[i];
 680     ci->rscheme[i] = '\0';
 681     return ci;
 682 }
 683
 684 /*
 685  * zv_destroy: Destroys this rank handler. This routine is called
 686  *  when the handler is no longer needed - i.e. when the server
 687  *  dies. The class_handle was previously returned by create.
 688  */
 689 static void zv_destroy (struct zebra_register *reg, void *class_handle) {
 690     struct rank_class_info *ci = (struct rank_class_info *) class_handle;
 691     yaz_log(log_level, "zv_destroy");
 692     xfree (ci);
 693 }
 694
 695
 696 /*
 697  * zv_begin: Prepares beginning of "real" ranking. Called once for
 698  *  each result set. The returned handle is a "set handle" and
 699  *  will be used in each of the handlers below.
 700  */
 701 static void *zv_begin(struct zebra_register *reg, void *class_handle,
 702                       RSET rset, NMEM nmem, TERMID *terms, int numterms)
 703 {
 704     struct rs_info *rs=(struct rs_info *)nmem_malloc(nmem,sizeof(*rs));
 705     struct rank_class_info *ci=(struct rank_class_info *)class_handle;
 706     int i;
 707     int veclen;
 708     int *ip;
 709     zint gocc;
 710     /**/
 711     yaz_log(log_level, "zv_begin");
 712     veclen= numterms;
 713     zv_init(rs, ci->rscheme);
 714     rs->nmem=nmem;
 715     rs->veclen=veclen;
 716     prn_rs(rs);
 717
 718     rs->qdoc=(struct ds_info *)nmem_malloc(nmem,sizeof(*rs->qdoc));
 719     rs->qdoc->terms=(struct ts_info *)nmem_malloc(nmem,
 720                                 sizeof(*rs->qdoc->terms)*rs->veclen);
 721     rs->qdoc->veclen=veclen;
 722     rs->qdoc->d_f_max=1; /* no duplicates */
 723     rs->qdoc->d_f_max_str="";
 724
 725     rs->rdoc=(struct ds_info *)nmem_malloc(nmem,sizeof(*rs->rdoc));
 726     rs->rdoc->terms=(struct ts_info *)nmem_malloc(nmem,
 727                          sizeof(*rs->rdoc->terms)*rs->veclen);
 728     rs->rdoc->veclen=veclen;
 729     rs->rdoc->d_f_max=10; /* just a guess */
 730     rs->rdoc->d_f_max_str="";
 731     /* yaz_log(log_level, "zv_begin_init"); */
 732     for (i = 0; i < rs->veclen; i++)
 733     {
 734         gocc= rset_count(terms[i]->rset);
 735         terms[i]->rankpriv=ip=nmem_malloc(nmem, sizeof(int));
 736         *ip=i; /* save the index for add() */
 737         /* yaz_log(log_level, "zv_begin_init i=%d gocc=%d", i, gocc); */
 738         rs->qdoc->terms[i].gocc=gocc;
 739         rs->qdoc->terms[i].locc=1;  /* assume query has no duplicate terms */
 740         rs->rdoc->terms[i].gocc=gocc;
 741         rs->rdoc->terms[i].locc=0;
 742     }
 743     (*rs->q_tf_fct)(rs, rs->qdoc); /* we do this once only */
 744     (*rs->q_idf_fct)(rs, rs->qdoc);
 745     (*rs->q_norm_fct)(rs, rs->qdoc);
 746     return rs;
 747 }
 748
 749 /*
 750  * zv_end: Terminates ranking process. Called after a result set
 751  *  has been ranked.
 752  */
 753 static void zv_end (struct zebra_register *reg, void *rsi)
 754 {
 755     yaz_log(log_level, "zv_end");
 756     /* they all are nmem'd */
 757     return;
 758 }
 759
 760 /*
 761  * zv_add: Called for each word occurence in a result set. This routine
 762  *  should be as fast as possible. This routine should "incrementally"
 763  *  update the score.
 764  */
 765 static void zv_add (void *rsi, int seqno, TERMID term) {
 766     RS rs=(RS)rsi;
 767     int *ip = term->rankpriv;
 768     int i=*ip;
 769     if (!term)
 770     {
 771         yaz_log(log_level, "zvrank zv_add seqno=%d NULL term",seqno );
 772         return;
 773     }
 774     rs->rdoc->terms[i].locc++;
 775     yaz_log(log_level, "zvrank zv_add seqno=%d '%s' term_index=%d cnt=%d",
 776              seqno, term->name, i, rs->rdoc->terms[i].locc );
 777 }
 778
 779 /*
 780  * zv_calc: Called for each document in a result. This handler should
 781  *  produce a score based on previous call(s) to the add handler. The
 782  *  score should be between 0 and 1000. If score cannot be obtained
 783  *  -1 should be returned.
 784  */
 785 static int zv_calc (void *rsi, zint sysno, zint staticrank, int *stop_flag)
 786 {
 787     int i, veclen;
 788     int score=0;
 789     double dscore=0.0;
 790     RS rs=(RS)rsi;
 791     /* yaz_log(log_level, "zv_calc"); */
 792     /**/
 793     veclen=rs->veclen;
 794     if (veclen==0)
 795         return -1;
 796     for (i = 0; i < veclen; i++) {
 797         /* qdoc weight has already been calculated */
 798         (*rs->d_tf_fct)(rs, rs->rdoc);
 799         (*rs->d_idf_fct)(rs, rs->rdoc);
 800         (*rs->d_norm_fct)(rs, rs->rdoc);
 801         dscore=rs->sim_fct(rs->qdoc, rs->rdoc);
 802     }
 803     score = (int) (dscore * 1000 +.5);
 804     yaz_log (log_level, "zv_calc: sysno=" ZINT_FORMAT " score=%d",
 805             sysno, score);
 806     if (score > 1000) /* should not happen */
 807         score = 1000;
 808     /* reset counts for the next record */
 809     for (i = 0; i < rs->veclen; i++)
 810         rs->rdoc->terms[i].locc=0;
 811     return score;
 812 }
 813
 814 /*
 815  * Pseudo-meta code with sequence of calls as they occur in a
 816  * server. Handlers are prefixed by --:
 817  *
 818  *     server init
 819  *     -- create
 820  *     foreach search
 821  *        rank result set
 822  *        -- begin
 823  *        foreach record
 824  *           foreach word
 825  *              -- add
 826  *           -- calc
 827  *        -- end
 828  *     -- destroy
 829  *     server close
 830  */
 831
 832 static struct rank_control rank_control_vsm = {
 833     "zvrank",
 834     zv_create,
 835     zv_destroy,
 836     zv_begin,
 837     zv_end,
 838     zv_calc,
 839     zv_add,
 840 };
 841
 842 struct rank_control *rank_zv_class = &rank_control_vsm;
 843