www/wproto.c

   1 /*
   2  * Copyright (c) 1995, the EUROPAGATE consortium (see below).
   3  *
   4  * The EUROPAGATE consortium members are:
   5  *
   6  *    University College Dublin
   7  *    Danmarks Teknologiske Videnscenter
   8  *    An Chomhairle Leabharlanna
   9  *    Consejo Superior de Investigaciones Cientificas
  10  *
  11  * Permission to use, copy, modify, distribute, and sell this software and
  12  * its documentation, in whole or in part, for any purpose, is hereby granted,
  13  * provided that:
  14  *
  15  * 1. This copyright and permission notice appear in all copies of the
  16  * software and its documentation. Notices of copyright or attribution
  17  * which appear at the beginning of any file must remain unchanged.
  18  *
  19  * 2. The names of EUROPAGATE or the project partners may not be used to
  20  * endorse or promote products derived from this software without specific
  21  * prior written permission.
  22  *
  23  * 3. Users of this software (implementors and gateway operators) agree to
  24  * inform the EUROPAGATE consortium of their use of the software. This
  25  * information will be used to evaluate the EUROPAGATE project and the
  26  * software, and to plan further developments. The consortium may use
  27  * the information in later publications.
  28  *
  29  * 4. Users of this software agree to make their best efforts, when
  30  * documenting their use of the software, to acknowledge the EUROPAGATE
  31  * consortium, and the role played by the software in their work.
  32  *
  33  * THIS SOFTWARE IS PROVIDED "AS IS" AND WITHOUT WARRANTY OF ANY KIND,
  34  * EXPRESS, IMPLIED, OR OTHERWISE, INCLUDING WITHOUT LIMITATION, ANY
  35  * WARRANTY OF MERCHANTABILITY OR FITNESS FOR A PARTICULAR PURPOSE.
  36  * IN NO EVENT SHALL THE EUROPAGATE CONSORTIUM OR ITS MEMBERS BE LIABLE
  37  * FOR ANY SPECIAL, INCIDENTAL, INDIRECT OR CONSEQUENTIAL DAMAGES OF
  38  * ANY KIND, OR ANY DAMAGES WHATSOEVER RESULTING FROM LOSS OF USE, DATA
  39  * OR PROFITS, WHETHER OR NOT ADVISED OF THE POSSIBILITY OF DAMAGE, AND
  40  * ON ANY THEORY OF LIABILITY, ARISING OUT OF OR IN CONNECTION WITH THE
  41  * USE OR PERFORMANCE OF THIS SOFTWARE.
  42  *
  43  * $Log: wproto.c,v $
  44  * Revision 1.22  1997/01/24 13:13:11  adam
  45  * Implemnted egw_source and added a "raw" option to the URL.
  46  * Fixed a bug in the buffering system of wproto; the macro wo_putc could
  47  * override memory if it was the first HTML generating function called.
  48  *
  49  * Revision 1.21  1996/05/23 15:53:11  adam
  50  * Bug fix: egw_enc failed on 8-bit chars.
  51  * New command: egw_parms.
  52  *
  53  * Revision 1.20  1996/05/21  14:53:04  adam
  54  * Tcl command wform extented; options -raw and -exists added.
  55  *
  56  * Revision 1.19  1996/03/14  11:48:39  adam
  57  * New function egw_prog that returns name of shell.
  58  *
  59  * Revision 1.18  1996/02/12  10:09:23  adam
  60  * New parameter to wproto_init: directory root for the FIFOs (instead
  61  * of using preprocessor defines FIFODIR/FIFOROOT).
  62  *
  63  * Revision 1.17  1996/01/26  09:02:22  adam
  64  * Open of client FIFO called with O_NDELAY when reconnecting to shell
  65  * in order to prevent serious lock if previous shell died without
  66  * unlinking client FIFO.
  67  *
  68  * Revision 1.16  1996/01/24  10:13:56  adam
  69  * Bug fix: in function wo_write realloc is used only when memory is already
  70  * allocated with malloc.
  71  *
  72  * Revision 1.15  1996/01/24  08:25:32  adam
  73  * Buf fix: Uninitialized outbuffer_offset member.
  74  *
  75  * Revision 1.14  1996/01/12  13:08:07  adam
  76  * CGI script passes name of lock file to the shell. The server will not close
  77  * the response FIFO until this file becomes unlocked. This method handles
  78  * cancel operations much better.
  79  *
  80  * Revision 1.13  1996/01/12  10:05:20  adam
  81  * If script name ends with ';' HTTP/GET/Expires will be defined.
  82  * The cgi interface only reads final handshake if response from
  83  * server (shell) was zero-terminated [If it isn't it probably died].
  84  *
  85  * Revision 1.12  1996/01/05  16:35:02  adam
  86  * Minor changes.
  87  *
  88  * Revision 1.11  1996/01/05  16:21:21  adam
  89  * Bug fix: shell (wproto) sometimes closed server FIFO before cgi
  90  * program opened it - solution: cgi sends OK when response has been read.
  91  *
  92  * Revision 1.10  1995/12/22  14:21:16  adam
  93  * More work on scan. The search.egw script takes care of cached
  94  * query page (doesn't always increment nextSetNo). To make new search set
  95  * either 'New query' must be selected or the query page must be reloaded.
  96  * The msearch script doesn't do this yet, however.
  97  *
  98  * Revision 1.9  1995/11/14  16:31:36  adam
  99  * Temporary remove of ccl entry.
 100  *
 101  * Revision 1.8  1995/11/13  15:41:45  adam
 102  * Arrow gifs.
 103  * Gateway uses record element set names B(rief) and F(ull).
 104  * Bug fix. Didn't save idAuthentication correctly.
 105  *
 106  * Revision 1.7  1995/11/10  14:47:32  adam
 107  * Plus (+) characters automatically converted to space in forms.
 108  * Work on search in multiple targets. Doesn't work well - yet.
 109  * Presentation formats enhanced.
 110  *
 111  * Revision 1.6  1995/11/06  10:51:17  adam
 112  * End of response marker in response from wsh/wproto to wcgi.
 113  * Shells are respawned when necessary.
 114  *
 115  * Revision 1.5  1995/11/02  16:35:37  adam
 116  * Bug fixes and select on FIFOs in wcgi - doesn't really work!
 117  *
 118  * Revision 1.4  1995/10/31  16:56:25  adam
 119  * Record presentation.
 120  *
 121  * Revision 1.3  1995/10/27  15:12:10  adam
 122  * IrTcl incorporated in the gateway.
 123  * Better separation of script types.
 124  * Z39.50 gateway scripts entered.
 125  *
 126  * Revision 1.2  1995/10/23  16:55:39  adam
 127  * A lot of changes - really.
 128  *
 129  * Revision 1.1  1995/10/20  11:49:26  adam
 130  * First version of www gateway.
 131  *
 132  */
 133
 134 #include <stdio.h>
 135 #include <string.h>
 136 #include <stdlib.h>
 137 #include <sys/time.h>
 138 #include <sys/types.h>
 139 #include <sys/stat.h>
 140 #include <fcntl.h>
 141 #include <unistd.h>
 142 #include <stdarg.h>
 143 #include <ctype.h>
 144 #include <errno.h>
 145 #include <assert.h>
 146
 147 #include "wproto.h"
 148
 149 static int wproto_dumpcache(WCLIENT wc, int level);
 150 static int wproto_findcache(WCLIENT wc, char *name);
 151 static void wproto_uncache(WCLIENT wc, int level);
 152
 153 static char *mod = "wproto";
 154
 155 void wo_write (WCLIENT wc, const char *s, size_t len)
 156 {
 157     if (wc->outbuffer_offset + len >= wc->outbuffer_size)
 158     {
 159         assert (wc->outbuffer);
 160         wc->outbuffer = realloc(wc->outbuffer, wc->outbuffer_size +=
 161                 ((len >= OUTBUFFER_CHUNK) ? len*2 : OUTBUFFER_CHUNK));
 162     }
 163     memcpy(wc->outbuffer + wc->outbuffer_offset, s, len);
 164     wc->outbuffer_offset += len;
 165 }
 166
 167 void wo_puts (WCLIENT wc, const char *s)
 168 {
 169     wo_write (wc, s, strlen(s));
 170 }
 171
 172 void wo_printf (WCLIENT wc, const char *fmt, ...)
 173 {
 174     va_list ap;
 175     char tmpbuf[4048];
 176
 177     va_start(ap, fmt);
 178     vsprintf(tmpbuf, fmt, ap);
 179     wo_puts(wc, tmpbuf);
 180     va_end(ap);
 181 }
 182
 183 void wo_clear (WCLIENT wc, const char *type)
 184 {
 185     if (!wc->outbuffer)
 186         wc->outbuffer = malloc (wc->outbuffer_size = OUTBUFFER_CHUNK);
 187     wc->outbuffer_offset = 0;
 188     if (type)
 189         wo_printf(wc, "Content-type: %s\n\n", type);
 190 }
 191
 192 int wo_puthtml (WCLIENT wc, char *name)
 193 {
 194     FILE *f;
 195     char ch;
 196
 197     wo_clear(wc, "text/html");
 198     if (!(f = fopen(name, "r")))
 199     {
 200         wo_printf(wc, "<BR>Failed to open file: %s<BR>", name);
 201         return 0;
 202     }
 203     while (ch = getc(f), !feof(f))
 204     {
 205         if (wo_putc(wc, ch) < 0)
 206         {
 207             fclose(f);
 208             return -1;
 209         }
 210     }
 211     fclose(f);
 212     return 0;
 213 }
 214
 215 int wo_flush(WCLIENT wc)
 216 {
 217     int wrote, towrite;
 218
 219     if (!(wc->outbuffer_offset))
 220         return 0;
 221     towrite = wc->outbuffer_offset;
 222     wc->outbuffer_offset = 0;
 223     for (;;)
 224     {
 225         int w_chunk;
 226
 227         w_chunk = towrite;
 228         wrote = write(wc->lineout, wc->outbuffer + wc->outbuffer_offset,
 229             w_chunk);
 230         if (wrote <= 0)
 231         {
 232             gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "write response");
 233             return -1;
 234         }
 235         gw_log (GW_LOG_DEBUG, mod, "wrote %d bytes", wrote);
 236         if (wc->cache_fd >= 0)
 237             if (write(wc->cache_fd, wc->outbuffer + wc->outbuffer_offset,
 238                 towrite) < 0)
 239             {
 240                 gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "write cache");
 241                 return -1;
 242             }
 243         towrite -= wrote;
 244         if (!towrite)
 245             break;
 246         wc->outbuffer_offset += wrote;
 247     }
 248     wc->outbuffer_offset = 0;
 249     return 0;
 250 }
 251
 252 int wo_overflow(WCLIENT wc, char ch)
 253 {
 254     gw_log (GW_LOG_DEBUG, mod, "wo_overflow");
 255     if (wo_flush(wc) < 0)
 256         return -1;
 257     return wo_putc(wc, ch);
 258 }
 259
 260 int wo_finish(WCLIENT wc)
 261 {
 262     int fd;
 263     gw_log (GW_LOG_DEBUG, mod, "wo_finish");
 264
 265     wo_putc (wc, 0);
 266     if (wo_flush(wc) < 0)
 267         return -1;
 268
 269     fd = open (wc->wf_serverf, O_RDONLY);
 270     if (fd != -1)
 271     {
 272         struct flock area;
 273         area.l_type = F_RDLCK;
 274         area.l_whence = SEEK_SET;
 275         area.l_start = 0L;
 276         area.l_len = 0L;
 277         fcntl (fd, F_SETLKW, &area);
 278         close (fd);
 279     }
 280     close(wc->lineout);
 281     wc->lineout = -1;
 282     if (wc->cache_fd >= 0)
 283     {
 284         close(wc->cache_fd);
 285         wc->cache_fd = -1;
 286     }
 287     return 0;
 288 }
 289
 290 static void descramble(char *t, const char *o)
 291 {
 292     unsigned int v;
 293
 294     while (*o)
 295     {
 296         if (*o == '%' && isxdigit(*(o + 1)) && isxdigit(*(o + 2)))
 297         {
 298             sscanf(o + 1, "%2x", &v);
 299             o += 3;
 300             if (v == '+')
 301                 *t = ' ';
 302             else
 303                 *t = (char) v;
 304             t++;
 305         }
 306         else
 307         {
 308             if (*o == '+')
 309                 *t = ' ';
 310             else
 311                 *t = *o;
 312             t++;
 313             o++;
 314         }
 315     }
 316     *t = '\0';
 317 }
 318
 319 static void decode_form(wform_data *form, char *buf)
 320 {
 321     int i = 0;
 322     char *p;
 323     char tmp[512];
 324
 325     while (*buf)
 326     {
 327         for (p = form[i].name; *buf && *buf != '='; buf++)
 328             *(p++) = *buf;
 329         *p = '\0';
 330         if (*buf)
 331             buf++;
 332         for (p = tmp; *buf && *buf != '&'; buf++)
 333             *(p++) = *buf;
 334         *p = '\0';
 335         descramble(form[i].value, tmp);
 336         if (*buf)
 337             buf++;
 338         i++;
 339     }
 340     *form[i].name = '\0';
 341 }
 342
 343 char *wgetval(WCLIENT wc, char *name)
 344 {
 345     int i;
 346
 347     for (i = 0; *wc->wf_data[i].name; i++)
 348         if (!strcmp(name, wc->wf_data[i].name))
 349             return wc->wf_data[i].value;
 350     return 0;
 351 }
 352
 353 int wproto_process(WCLIENT wc, int timeout)
 354 {
 355     int toread, rs, level;
 356     char combuf[COMBUF], *p,*t;
 357     fd_set input;
 358     struct timeval to, *top;
 359
 360     for (;;)
 361     {
 362         gw_log (GW_LOG_DEBUG, mod, "process waiting for input.");
 363         if (timeout > 0)
 364         {
 365             to.tv_usec = 0;
 366             to.tv_sec = timeout;
 367             top = &to;
 368         }
 369         else
 370             top = 0;
 371         FD_ZERO(&input);
 372         FD_SET(wc->linein, &input);
 373         /* go through select handle list */
 374         while ((rs = select(wc->linein + 1, &input, 0, 0, top)) < 0 &&
 375             errno == EINTR)
 376             ;
 377         if (rs < 0)
 378         {
 379             gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "select");
 380             return -1;
 381         }
 382         if (rs == 0)
 383         {
 384             gw_log (GW_LOG_STAT, mod,
 385                     "select %d second timeout.",
 386                     timeout);
 387             unlink (wc->wf_serverp);
 388             return 0;
 389         }
 390         if (read(wc->linein, &toread, sizeof(toread)) < sizeof(toread))
 391         {
 392             gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "wp_proc:len read failed");
 393             exit(1);
 394         }
 395         toread -= sizeof(toread);
 396         if (read(wc->linein, combuf, toread) < toread)
 397         {
 398             gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "wp_proc: data read failed");
 399             exit(1);
 400         }
 401         p = combuf;
 402         for (t = wc->wf_serverp; (*t = *p); t++, p++);
 403         p++;
 404         for (t = wc->wf_serverf; (*t = *p); t++, p++);
 405         p++;
 406         for (t = wc->wf_script; *p && *p != '/'; t++, p++)
 407             *t = *p;
 408         *t = '\0';
 409         if (*p)
 410             p++;
 411         decode_form (wc->wf_parms_var, p);
 412         for (t = wc->wf_parms; (*t = *p); t++, p++);
 413         p++;
 414         p++;         /* we don't deal with envvars yet */
 415         wc->raw_data = p;
 416         decode_form(wc->wf_data, p);
 417         if (wc->lineout < 0)
 418         {
 419             gw_log (GW_LOG_DEBUG, mod, "open %s", wc->wf_serverp);
 420             if ((wc->lineout = open(wc->wf_serverp, O_WRONLY)) < 0)
 421             {
 422                 gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "open %s",
 423                         wc->wf_serverp);
 424                 exit(1);
 425             }
 426         }
 427         /* look in cache only if request carries no forms data. */
 428         if (!*wc->wf_data[0].name && (level = wproto_findcache(wc,
 429             wc->wf_parms)) >= 0)
 430         {
 431             gw_log (GW_LOG_DEBUG, mod, "wproto_dumpcache");
 432             wproto_dumpcache(wc, level);
 433             wo_finish(wc);
 434
 435         }
 436         else
 437         {
 438             return 1;
 439         }
 440     }
 441 }
 442
 443 WCLIENT wproto_init (const char *fifoDir, const char *prog)
 444 {
 445     char *val, path2[256];
 446     wclient_data *new;
 447
 448     gw_log (GW_LOG_DEBUG, mod, "wproto_init");
 449     close(1);    /* release us from the wserver */
 450     if (!(new = malloc(sizeof(*new))))
 451     {
 452         gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "malloc");
 453         exit (1);
 454     }
 455     if (!(val = getenv ("GWID")))
 456     {
 457         gw_log (GW_LOG_FATAL, mod, "GWID not set");
 458         exit (1);
 459     }
 460     if (!(new->prog = malloc (strlen(prog)+1)))
 461     {
 462         gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "malloc");
 463         exit (1);
 464     }
 465     strcpy (new->prog, prog);
 466     new->fifoDir = fifoDir;
 467     new->id = atoi (val);
 468     sprintf(new->path, "%s/clt%d", new->fifoDir, new->id);
 469     if (mkfifo(new->path, 0666 | S_IFIFO) < 0)
 470         gw_log (GW_LOG_WARN|GW_LOG_ERRNO, mod, "mkfifo(%s)", new->path);
 471     gw_log (GW_LOG_DEBUG, mod, "Synchronizing with server.");
 472     sprintf(path2, "%s/srv%d", new->fifoDir, getppid());
 473     if ((new->lineout = open(path2, O_WRONLY)) < 0)
 474     {
 475         gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "open out %s", path2);
 476         exit(1);
 477     }
 478     if (write(new->lineout, "OK", 2) < 2)
 479     {
 480         gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "write");
 481         exit(1);
 482     }
 483     gw_log (GW_LOG_DEBUG, mod, "Synchronized.");
 484     if ((new->linein = open(new->path, O_RDONLY)) < 0)
 485     {
 486         gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "open input %s", new->path);
 487         exit(1);
 488     }
 489     gw_log (GW_LOG_DEBUG, mod, "init. linein=%d lineout=%d",
 490             new->linein, new->lineout);
 491     /* we put a handle on this so we get a blocking read when no peer */
 492     if (open(new->path, O_WRONLY | O_NDELAY) < 0)
 493     {
 494         gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "open dummy %s", new->path);
 495         exit(1);
 496     }
 497     new->outbuffer = 0;
 498     new->outbuffer_size = 0;
 499     new->outbuffer_offset = 0;
 500     new->cache_level = -1;
 501     new->cache_fd = -1;
 502     return new;
 503 }
 504
 505 static void wproto_uncache(WCLIENT wc, int level)
 506 {
 507     for (;wc->cache_level >= level; wc->cache_level--)
 508         unlink(wc->cache[wc->cache_level].path);
 509 }
 510
 511 void wproto_terminate(WCLIENT wc)
 512 {
 513     free (wc->prog);
 514     close(wc->linein);
 515     unlink(wc->path);
 516     wproto_uncache(wc, 0);
 517     free(wc);
 518 }
 519
 520 int wproto_cache(WCLIENT wc, int level)
 521 {
 522     cache_data *p;
 523
 524     if (level > wc->cache_level + 1)
 525     {
 526         gw_log (GW_LOG_FATAL, mod, "Illegal cache level increment.");
 527         exit(1);
 528     }
 529     wproto_uncache(wc, level);
 530     p = &wc->cache[++wc->cache_level];
 531     sprintf(p->path, "%s/csh%d.%d", wc->fifoDir, wc->id, level);
 532     if ((wc->cache_fd = open(p->path, O_WRONLY|O_CREAT|O_TRUNC, 0600)) < 0)
 533     {
 534         gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "open %s", p->path);
 535         return -1;
 536     }
 537     strcpy(p->name, wc->wf_parms);
 538     return 0;
 539 }
 540
 541 static int wproto_findcache(WCLIENT wc, char *name)
 542 {
 543     int i;
 544
 545     for (i = 0; i <= wc->cache_level; i++)
 546         if (!strcmp(wc->cache[i].name, name))
 547             return i;
 548     return -1;
 549 }
 550
 551 static int wproto_dumpcache(WCLIENT wc, int level)
 552 {
 553     int fd, rd;
 554
 555     gw_log (GW_LOG_STAT, mod, "Using Cache: %s", wc->cache[level].name);
 556     if ((fd = open(wc->cache[level].path, O_RDONLY)) < 0)
 557     {
 558         gw_log (GW_LOG_FATAL, mod, "open (R) %s", wc->cache[level].path);
 559         return -1;
 560     }
 561     while ((rd = read(fd, wc->outbuffer, OUTBUFFER_CHUNK)) > 0)
 562         if (write(wc->lineout, wc->outbuffer, rd) < rd)
 563         {
 564             gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "write toline");
 565             return -1;
 566         }
 567     if (rd < 0)
 568     {
 569         gw_log (GW_LOG_FATAL|GW_LOG_ERRNO, mod, "read");
 570         return -1;
 571     }
 572     wproto_uncache(wc, level + 1);
 573     return 0;
 574 }