-
Notifications
You must be signed in to change notification settings - Fork 0
/
wget.sh
executable file
·67 lines (59 loc) · 2.37 KB
/
wget.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
#!/bin/bash
####################
#
# file: wget.sh
#
# Download PageOneX Threads about colorcorrupción
#
# Based on script by Sean O'Donnell <[email protected]>
# http://code.seanodonnell.com/?id=53
#
# Execute it from directory colorcorrupcion/data
#
####################
mirror=http://pageonex.com/numeroteca
file[0]=corrupcion-spain-enero-2013/export.json
file[1]=colorcorrupcion-espana-febrero-2013/export.json
file[2]=corrupcion-espana-marzo-2013/export.json
file[3]=corrupcion-espana-abril-2013/export.json
file[4]=corrupcion-espana-mayo-2013/export.json
file[5]=corrupcion-espana-junio-2013/export.json
file[6]=corrupcion-espana-julio-2013/export.json
file[7]=corrupcion-espana-agosto-2013/export.json
file[8]=corrupcion-espana-septiembre-2013/export.json
file[9]=corrupcion-espana-octubre-2013/export.json
file[10]=corrupcion-espana-noviembre-2013/export.json
file[11]=corrupcion-espana-diciembre-2013/export.json
file[12]=corrupcion-espana-enero-2014/export.json
file[13]=corrupcion-espana-febrero-2014/export.json
file[14]=corrupcion-espana-marzo-2014/export.json
file[15]=corrupcion-espana-abril-2014/export.json
file[16]=corrupcion-espana-mayo-2014/export.json
file[17]=corrupcion-espana-junio-2014/export.json
file[18]=corrupcion-espana-julio-2014/export.json
file[19]=corrupcion-espana-agosto-2014/export.json
file[20]=corrupcion-espana-septiembre-2014/export.json
file[21]=corrupcion-espana-octubre-2014/export.json
file[22]=corrupcion-espana-noviembre-2014/export.json
file[23]=corrupcion-espana-diciembre-2014/export.json
file[24]=corrupcion-espana-enero-2015/export.json
file[25]=corrupcion-espana-febrero-2015/export.json
file[26]=corrupcion-espana-marzo-2015/export.json
file[27]=corrupcion-espana-abril-2015/export.json
file[28]=corrupcion-espana-mayo-2015/export.json
file[29]=corrupcion-espana-junio-2015/export.json
file[30]=corrupcion-espana-julio-2015/export.json
file[31]=corrupcion-espana-agosto-2015/export.json
file[32]=corrupcion-espana-septiembre-2015/export.json
for (( i = 0 ; i < ${#file[@]} ; i++ ))
do
wget -O colorcorrupcion-$i.json $mirror/${file[$i]}
done
unset file
unset mirror
# merges downloaded files
jq -s 'reduce .[] as $dot ({}; .data += $dot.data)' colorcorrupcion-1.json colorcorrupcion-0.json > colorJanFeb2015.json
rm colorcorrupcion-0.json
rm colorcorrupcion-1.json
jq -s 'reduce .[] as $dot ({}; .data += $dot.data)' color*.json > total201320142015.json
exit