Reduce size of bebook output, it doesn't change the fact only 2 zoom levels are avail...
[dja/scandal.git] / scan2pages.sh
index ce588f7..720acec 100755 (executable)
@@ -2,33 +2,27 @@
 
 function usage {
 cat >&2 << __EOF__ 
-Usage: $0 [-vfpsmut] [-d depth] pdffile outdir
+Usage: $0 [-vfpsmutb] [-D DPI] [-d depth] [-F format] pdffile outdir
 Convert pdffile - a pdf of scanned facing pages - to a set of images in outdir,
 each with only one page.
 OPTIONS:
        -v: Be verbose.
-       -d depth: Use given depth. Default is 1. Unpaper can only handle up to 8.
+       -d depth: Use given depth. Default is 1 for black and white, 8 for colour/gray.
+               Unpaper can only handle up to 8.
+       -D dpi: Use given DPI. Colour scans on library scanners are usually 300, bw 400.
+       -F extension: use the output format signified by the extension. Default is png
        -s: skip masking/trimming. Overrides -m.
        -f: Forceably redo everything.
        -p: Forceably redo pdf conversion. Implies options below, equivalent to -f.
        -m: Forceably redo masking/trimming and other preprocessing. Impiles options below.
-       -u: Forceably redo unpaper processing. Implies option below. IGNORED
+       -u: Forceably redo unpaper processing. Implies option below.
        -t: Forceably redo final trimming and cleaning. IGNORED
+       -b: Optimize for BeBook One.
 __EOF__
 }
 
 ## Setup and utilities ##
-# Unpaper
-UNPAPER_PATH="/home/wheel/dja/public-html/scandal/unpaper-0.3/bin"
-PATH=$UNPAPER_PATH:$PATH
-
-# Mac OS X doesn't have seq. It has jot instead.
-Linux_seq="seq"
-Darwin_seq="jot -"
-if [[ $(uname) == "Darwin" ]]; then my_seq=$Darwin_seq;
-else my_seq=$Linux_seq;
-fi;
-
+source $(dirname $0)/my_seq.sh
 
 ## Process flags ##
 forcepdf=
@@ -37,15 +31,23 @@ forceunpaper=
 forceclean=
 convertflags=
 unpaperflags=
-depthflags="-depth 1"
+depthset=
+depth=
+dpi=
 skipmask=
-while getopts 'vd:sfpmuc' OPTION
+verbose=
+extension="png"
+bebook=
+while getopts 'vd:D:sfpmucF:b' OPTION
 do
        case $OPTION in
-       v)  convertflags="$convertflags -verbose"
+       v)      verbose=1
+               convertflags="$convertflags -verbose"
                unpaperflags="$unpaperflags -v --time"
                ;;
-       d)      depthflags="-depth $OPTARG"
+       d)      depth="$OPTARG"
+               ;;
+       D)      dpi=$OPTARG
                ;;
        s)      skipmask=1;
                ;;
@@ -59,9 +61,10 @@ do
                ;;
        t)      forceclean=1
                ;;
-#      b)      bflag=1
-#              bval="$OPTARG"
-#              ;;
+       F)      extension="$OPTARG"
+               ;;
+       b)      bebook=1
+               ;;
        ?)      usage
                exit 2
                ;;
@@ -92,6 +95,35 @@ pages=$(awk '$1 ~ "%%Pages" {print $2}' $dscname)
 echo "Got $pages page(s)."
 rm $dscname
 
+# guess at DPI, unless it's been set
+# the scans do not seem to accurately reflect their resolution.
+if [[ "$dpi" = "" ]]; then
+       # %k gives the number of colours/shades in the image.
+       # 2 for b/w, and the scanner seems to default to 400 dpi for that
+       # 256 for greyscale, which has to be selected manually (so I'm assuming 300 for no good reason)
+       # 31564 for colour, which defaults to 300
+       if [[ $( convert $file[0] -format "%k" info: || exit 1 ) == 2 ]]; then
+               dpi=400;
+       else
+               dpi=300
+       fi
+       if [[ $verbose == 1 ]]; then
+               echo "DPI guessed at $dpi."
+       fi
+fi
+
+# guess at depth, unless it's been set
+if [[ "$depth" = "" ]]; then
+       if [[ $( convert $file[0] -format "%k" info: || exit 1 ) == 2 ]]; then
+               depth=1;
+       else
+               depth=8
+       fi
+       if [[ $verbose == 1 ]]; then
+               echo "Depth guessed at $depth."
+       fi
+fi
+
 # process pages 1 by 1 to avoid convert gobbling all the memory
 for pg in `$my_seq 1 $pages`; do
        echo "Processing page $pg."
@@ -99,40 +131,68 @@ for pg in `$my_seq 1 $pages`; do
        pgn=$(printf '%03d' $pg)
        
        # convert from pdf
-       origpnm=$dir/pg-${pgn}.pnm
-       if [[ ! $([ -e $origpnm ]) || $forcepdf ]]; then
-               convert $convertflags $depthflags -density 300 $file[$(expr $pg - 1)] \
-                       $origpnm || exit 1
+       origfile=$dir/pg-${pgn}.png
+       if [ ! -e $origfile ] || [[ $forcepdf ]]; then
+               convert $convertflags -depth $depth -density $dpi $file[$(expr $pg - 1)] \
+                       $origfile || exit 1
        fi;
        
        # preprocess it!
        preppnm=$dir/pg-pp-${pgn}.pnm
-       if [[ ! $skipmask && ( ! $([ -e $preppnm ]) || $forcemask ) ]]; then
+       if [[ ! $skipmask ]] && ( [ ! -e $preppnm ] || [[ $forcemask ]] ); then
                # create mask: 
                # ... downscale, blur,
-               convert $convertflags -resize 25% -depth 8 -blur 10 $origpnm $dir/pg-mask-${pgn}.pnm ||exit 1
+               convert $convertflags -resize 10% -depth 8 -blur 10 -median 2 $origfile $dir/pg-mask-${pgn}.png ||exit 1
 
-               # ... get crop co-ords
-               cropcords=$(convert -resize 400% -trim -fuzz 90% -format "%wx%h%O" $dir/pg-mask-${pgn}.pnm info: || exit 1)
+               # ... get crop co-ords. They're off by ~2 as I don't know how to
+               # properly correct for the border.
+               cropcords=$(convert -border 1x1 -bordercolor '#000' -resize 1000% -trim -fuzz 90% -format "%wx%h%O" $dir/pg-mask-${pgn}.png info: || exit 1)
                
                # ... crop and despeckle? the final pre-prepared image
-               convert $convertflags -crop $cropcords $origpnm $preppnm || exit 1
+               convert $convertflags -crop $cropcords $origfile $preppnm || exit 1
        elif [[ $skipmask ]]; then
-               cp $origpnm $preppnm
+               cp $origfile $preppnm
+       fi;
+       
+       # check it hasn't mostly disappeared - e.g. if the scan was all black
+       # (e.g. forgot to put the book down when you first hit scan)
+       if [[ $(convert  $preppnm -format '%[fx:s.w*s.h>1000]' info:) = "0" ]]; then
+               [[ $verbose == 1 ]] && echo "Discarding pg ${pgn}: not enough remains after masking."
+               continue; 
        fi;
        
        #unpaper it
        #names go a bit funny here
-       #also, ignore flags starting here
-       unppnm=$dir/upg-${pgn}-%01d.pnm
-       unpaper $unpaperflags --layout double --overwrite --no-blackfilter -ni 10 -op 2 $preppnm $unppnm || exit 1
-
-       # final convert and clean
-       convert $convertflags $dir/upg-${pgn}-?.pnm $dir/upg-${pgn}-%01d.tiff || exit 1
+       unppnmbase=$dir/upg-${pgn}
+       if [ ! -e ${unppnmbase}-1.pnm ] || [ ! -e ${unppnmbase}-2.pnm ] || [[ $forceunpaper ]]; then
+               unpaper $unpaperflags --layout double --overwrite -ni 10 -op 2 $preppnm ${unppnmbase}-%01d.pnm || exit 1
+       fi;
        
+       #detect if the page is 2-up
+       for subpg in $($my_seq 1 2); do
+               echo Processing subpg ${subpg}.
+               if $(dirname $0)/detect2pages.sh $dir/upg-${pgn}-${subpg}.pnm ${pgn} ${subpg}; then
+                       if [[ $verbose == 1 ]]; then
+                               echo "Resplitting subpg ${subpg}."
+                       fi
+                       unpaper $unpaperflags --pre-rotate 90 --layout double --overwrite -op 2 $dir/upg-${pgn}-${subpg}.pnm $dir/upg-${pgn}-${subpg}-%01d.pnm
+               else
+                       cp $dir/upg-${pgn}-${subpg}.pnm $dir/upg-${pgn}-${subpg}-1.pnm
+               fi;
+
+       done;
+
+       #final convert and clean w/ bebook optimisation
+       if [[ $bebook ]]; then
+               convert $convertflags -colorspace Gray -median 1 $dir/upg-${pgn}-1-?.pnm -trim -resize 1200x1600 $dir/final-${pgn}-1-%01d.${extension} || exit 1
+               convert $convertflags -colorspace Gray -median 1 $dir/upg-${pgn}-2-?.pnm -trim -resize 1200x1600 $dir/final-${pgn}-2-%01d.${extension} || exit 1
+       else
+               convert $convertflags $dir/upg-${pgn}-1-?.pnm $dir/final-${pgn}-1-%01d.${extension} || exit 1
+               convert $convertflags $dir/upg-${pgn}-2-?.pnm $dir/final-${pgn}-2-%01d.${extension} || exit 1
+       fi
        
 done
 
-mkdir $dir/pages
-mv $dir/upg-*.tiff $dir/pages
+mkdir -p $dir/pages
+mv $dir/final-*.${extension} $dir/pages
        

UCC git Repository :: git.ucc.asn.au