include/yaz/tokenizer.h

   1 /* This file is part of the YAZ toolkit.
   2  * Copyright (C) 1995-2010 Index Data.
   3  * All rights reserved.
   4  * Redistribution and use in source and binary forms, with or without
   5  * modification, are permitted provided that the following conditions are met:
   6  *
   7  *     * Redistributions of source code must retain the above copyright
   8  *       notice, this list of conditions and the following disclaimer.
   9  *     * Redistributions in binary form must reproduce the above copyright
  10  *       notice, this list of conditions and the following disclaimer in the
  11  *       documentation and/or other materials provided with the distribution.
  12  *     * Neither the name of Index Data nor the names of its contributors
  13  *       may be used to endorse or promote products derived from this
  14  *       software without specific prior written permission.
  15  *
  16  * THIS SOFTWARE IS PROVIDED BY THE REGENTS AND CONTRIBUTORS ``AS IS'' AND ANY
  17  * EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED
  18  * WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE
  19  * DISCLAIMED. IN NO EVENT SHALL THE REGENTS AND CONTRIBUTORS BE LIABLE FOR ANY
  20  * DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES
  21  * (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES;
  22  * LOSS OF USE, DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND
  23  * ON ANY THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  24  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  25  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  26  */
  27
  28 /** \file tokenizer.h
  29     \brief Header with public definitions about YAZ' tokenizer
  30 */
  31
  32 #ifndef YAZ_TOKENIZER
  33 #define YAZ_TOKENIZER
  34 #include <yaz/nmem.h>
  35
  36 YAZ_BEGIN_CDECL
  37
  38 #define YAZ_TOK_EOF 0
  39 #define YAZ_TOK_ERROR (-1)
  40 #define YAZ_TOK_STRING (-2)
  41 #define YAZ_TOK_QSTRING (-3)
  42
  43 typedef struct yaz_tok_cfg *yaz_tok_cfg_t;
  44 typedef struct yaz_tok_parse *yaz_tok_parse_t;
  45
  46 typedef int (*yaz_tok_get_byte_t)(void **vp);
  47
  48 YAZ_EXPORT
  49 yaz_tok_cfg_t yaz_tok_cfg_create(void);
  50
  51 YAZ_EXPORT
  52 void yaz_tok_cfg_destroy(yaz_tok_cfg_t t);
  53
  54 YAZ_EXPORT
  55 void yaz_tok_cfg_single_tokens(yaz_tok_cfg_t t, const char *simple);
  56
  57 YAZ_EXPORT
  58 yaz_tok_parse_t yaz_tok_parse_buf(yaz_tok_cfg_t t, const char *buf);
  59
  60 YAZ_EXPORT
  61 yaz_tok_parse_t yaz_tok_parse_create(yaz_tok_cfg_t t, yaz_tok_get_byte_t h,
  62                                      void *vp);
  63
  64 YAZ_EXPORT
  65 void yaz_tok_parse_destroy(yaz_tok_parse_t tp);
  66
  67 YAZ_EXPORT
  68 int yaz_tok_move(yaz_tok_parse_t tp);
  69
  70 YAZ_EXPORT
  71 const char *yaz_tok_parse_string(yaz_tok_parse_t tp);
  72
  73 YAZ_END_CDECL
  74
  75 #endif
  76
  77 /*
  78  * Local variables:
  79  * c-basic-offset: 4
  80  * c-file-style: "Stroustrup"
  81  * indent-tabs-mode: nil
  82  * End:
  83  * vim: shiftwidth=4 tabstop=8 expandtab
  84  */
  85