solr/loc.sh

   1 #!/bin/bash
   2 LOG=index.log
   3 MARCDUMP="yaz-marcdump"
   4
   5 if [ "$SOLR_URL" == "" ] ; then
   6     DEF_HOST=-Durl="http://localhost:8983/solr/update"
   7 else
   8     DEF_HOST=-Durl="$SOLR_URL"
   9 fi
  10
  11 if [ -d "./data" ] ; then
  12         LOCDATA="./data"
  13 else
  14         LOCDATA=/extra/heikki/locdata
  15 fi
  16
  17 if [ ! -d "$LOCDATA" ] ; then
  18         echo "$LOCDATA not a directory"
  19         exit 1
  20 fi
  21
  22 if [ "$1" == "" ] ; then
  23     FILES="$LOCDATA/part*"
  24 else
  25     FILES="$*"
  26 fi
  27 #echo $FILES
  28
  29 rm -f $LOG
  30
  31 function convert()
  32 {
  33     FILE=$2
  34     echo "zcat $1 > $FILE.mrc"
  35     zcat $1 > $FILE.mrc
  36     $MARCDUMP  -f marc8 -t utf-8 -o turbomarc $FILE.mrc > $FILE.xml
  37     xsltproc ../test/tmarc.xsl $FILE.xml  > $FILE.pz
  38     xsltproc ../etc/pz2-solr.xsl $FILE.pz > $FILE.solr
  39     ls -l $FILE.* >> $LOG
  40 }
  41
  42 if [ "$TWO_PASS" == "1" ] ; then
  43     for d in ${FILES} ; do
  44         date  "+%c converting $d" >>$LOG
  45         FILE=`basename $1`
  46         convert $d $FILE
  47     done
  48 fi
  49
  50 for d in ${FILES} ; do
  51         date  "+%c converting $d" >>$LOG
  52         BASE=`basename $d`
  53         FILE=$BASE.solr
  54         if [ ! -f "$FILE" ] ; then
  55             convert $d $BASE
  56         fi
  57         date  "+%c indexing $d" >>$LOG
  58         java $DEF_HOST -jar post.jar $FILE
  59         date  "+%c indexing $d ended" >>$LOG
  60         #rm tmp.*
  61 done
  62 date  "+%c All done" >>$LOG
  63 exit 0