Log for YSITD

├── japanese
│   ├── 12345
│   │   ├── cover.png
│   │   ├── 1.png
│   │   ├── 2.png
│   │   ├── ......
├── chinese
│   ├── 24680
│   │   ├── cover.png
│   │   ├── 1.png
│   │   ├── 2.png
│   │   ├── ......

├── 0
│   ├── 1234
│   │   ├── cover.png
│   │   ├── 1.png
│   │   ├── 2.png
│   │   ├── ......
├── 10000
│   ├── 16382
│   │   ├── cover.png
│   │   ├── 1.png
│   │   ├── 2.png
│   │   ├── ......
├── 20000
│   ├── 22375
│   │   ├── cover.png
│   │   ├── 1.png
│   │   ├── 2.png
│   │   ├── ......

        {
                "h": 1703,
                "t": "j",
                "w": 1200
            },
            {
                "h": 1703,
                "t": "j",
                "w": 1200
            },

until [ `jobs | wc -l | sed 's/ //g'` -lt $limit ]
do
  sleep 0.2
done

#!/bin/bash

function download {
    line=$1
    if [ -z "`grep $line json_fetched`" ]
    then
        echo "Fetching $line"
        mongo nhentai --eval "db.nhentai.insert(`curl https://nhentai.net/g/$line/ | grep -oP 'var gallery = new N.gallery\(\K.*(?=\);)'`)"                                                                        
        echo "$line" >> json_fetched
    else
        echo "$line Already Fetched"
    fi
}

export -f download

cat list | parallel --bar download