-
Notifications
You must be signed in to change notification settings - Fork 0
/
getRKIData.sh
executable file
·114 lines (90 loc) · 6.83 KB
/
getRKIData.sh
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
#!/bin/bash
##
## Das RKI bietet unter https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/nCoV.html folgende
## Daten zum Download an (Stand Samstag, 24.10.2020, 08:00)
##
#
# Gesamtübersicht der pro Tag ans RKI übermittelten Fälle, Todesfälle und 7-Tages-Inzidenzen nach Bundesland und Landkreis
# https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Daten/Fallzahlen_Kum_Tab.html
# Excel-Datei: https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Daten/Fallzahlen_Kum_Tab.xlsx?__blob=publicationFile
#
# Tabellen zu Testzahlen, Testkapazitäten und Probenrückstau pro Woche (21.10.2020) (xlsx, 22 KB, Datei ist nicht barrierefrei)
# https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Daten/Testzahlen-gesamt.xlsx?__blob=publicationFile
#
# Todesfälle nach Sterbedatum (22.10.2020) (xlsx, 3 KB, Datei ist nicht barrierefrei)
# https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Projekte_RKI/COVID-19_Todesfaelle.xlsx?__blob=publicationFile
#
# Aktuelle Ergebnisse des Nowcasting und der R-Schätzung
# https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Projekte_RKI/Nowcasting.html
# Excel-Datei: https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Projekte_RKI/Nowcasting_Zahlen.xlsx?__blob=publicationFile
# CSV-Datei: https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Projekte_RKI/Nowcasting_Zahlen_csv.csv?__blob=publicationFile
#
# COVID-19-Fälle nach Altersgruppe und Meldewoche
# https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Daten/Altersverteilung.html
# Excel-Datein https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Daten/Altersverteilung.xlsx;jsessionid=BBA0E867314E7133E733D3E5D3459A48.internet082?__blob=publicationFile
# SurvStat - individuelle Abfrage von Meldedaten
# https://survstat.rki.de/Content/Query/Create.aspx
# Diese Datei:
export THIS_FILE=$(/usr/bin/readlink --canonicalize ${0})
# Das Verzeichnis, in dem diese Datei liegt:
export THIS_DIR=$(/usr/bin/dirname ${THIS_FILE})
# Das Verzeichnis über dem Verzeichnis, in dem diese Datei liegt:
export THIS_PARENT_DIR=$(/usr/bin/readlink --canonicalize ${THIS_DIR}/..)
# Zeitstempel im Format 2020-10-24--07-50-05:
export NOW=$(/usr/bin/date "+%Y-%m-%d--%H-%M-%S")
# Das Verzeichnis, in dem die Excel-DAtein des RKI gepsichert werden:
export RKI_DATA_DIR=${THIS_DIR}/rki-data
# Das brauchen wir nur zum Testen:
echo "THIS_FILE ${THIS_FILE}"
echo "THIS_DIR ${THIS_DIR}"
echo "THIS_PARENT_DIR ${THIS_PARENT_DIR}"
echo "RKI_DATA_DIR ${RKI_DATA_DIR}"
echo "NOW ${NOW}"
# Damit stellen wir sicher, dass das Verzeichnis auch wirklich existiert:
/usr/bin/mkdir -p ${RKI_DATA_DIR}
# Excel-Datei mit den kumulierten Fallzahlen:
/usr/bin/wget https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Daten/Fallzahlen_Kum_Tab.xlsx?__blob=publicationFile --append-output ${RKI_DATA_DIR}/wget-rki.log --output-document ${RKI_DATA_DIR}/RKI-Fallzahlen_Kum_Tab.xlsx
# Excel-Datei mit den Todesfällen pro Kalenderwoche:
/usr/bin/wget https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Projekte_RKI/COVID-19_Todesfaelle.xlsx?__blob=publicationFile --append-output ${RKI_DATA_DIR}/wget-rki.log --output-document ${RKI_DATA_DIR}/RKI-COVID-19_Todesfaelle.xlsx
# Excel-Datei mit Nowcasting und R-Schätzung
/usr/bin/wget https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Projekte_RKI/Nowcasting_Zahlen.xlsx?__blob=publicationFile --append-output ${RKI_DATA_DIR}/wget-rki.log --output-document ${RKI_DATA_DIR}/RKI-Nowcasting_Zahlen.xlsx
# Excel-Datei mit Testzahlen
/usr/bin/wget https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Daten/Testzahlen-gesamt.xlsx?__blob=publicationFile --append-output ${RKI_DATA_DIR}/wget-rki.log --output-document ${RKI_DATA_DIR}/RKI-Testzahlen-gesamt.xlsx
# Excel-Datei mit Altersverteilung
/usr/bin/wget 'https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Daten/Altersverteilung.xlsx;jsessionid=BBA0E867314E7133E733D3E5D3459A48.internet082?__blob=publicationFile' --append-output ${RKI_DATA_DIR}/wget-rki.log --output-document ${RKI_DATA_DIR}/RKI-Altersverteilung.xlsx
# Excel-Datei mit klinischen Aspekten
/usr/bin/wget 'https://www.rki.de/DE/Content/InfAZ/N/Neuartiges_Coronavirus/Daten/Klinische_Aspekte.xlsx?__blob=publicationFile' --append-output ${RKI_DATA_DIR}/wget-rki.log --output-document ${RKI_DATA_DIR}/RKI-Klinische-Aspekte.xlsx
# Die Zeitreihen des DIVI-Intensivregisters gibt es hier
/usr/bin/wget https://diviexchange.blob.core.windows.net/%24web/bundesland-zeitreihe.csv --append-output ${RKI_DATA_DIR}/wget-rki.log --output-document ${RKI_DATA_DIR}/bundesland-zeitreihe.csv
cd ${THIS_DIR}
/usr/bin/git commit ${RKI_DATA_DIR}/*.xlsx -m"${0}: add data automatically downloaded at ${NOW}"
for f in ${RKI_DATA_DIR}/RKI*.xlsx ; do
echo "extracting csv files from downloaded xlsx file ${f}"
/usr/bin/xlsx2csv --all --delimiter ";" --dateformat %Y-%m-%d ${f} ${RKI_DATA_DIR}/$(/usr/bin/basename ${f} .xlsx)-csv
done
/usr/bin/git status -u
export THEN=$(/usr/bin/date "+%Y-%m-%d--%H-%M-%S")
echo "Script Start ${NOW}"
echo "Script End ${THEN}"
# curl 'https://services7.arcgis.com/mOBPykOjAyBO2ZKk/arcgis/rest/services/Covid19_RKI_Sums/FeatureServer/0/query?f=json&where=(Meldedatum%3Etimestamp%20%272020-03-01%2022%3A59%3A59%27%20AND%20Meldedatum%20NOT%20BETWEEN%20timestamp%20%272020-11-09%2023%3A00%3A00%27%20AND%20timestamp%20%272020-11-10%2022%3A59%3A59%27)%20AND%20(IdLandkreis%3D%2708111%27)&returnGeometry=false&spatialRel=esriSpatialRelIntersects&outFields=ObjectId%2CSummeFall%2CMeldedatum&orderByFields=Meldedatum%20asc&resultOffset=0&resultRecordCount=32000&resultType=standard&cacheHint=true' \
# -H 'authority: services7.arcgis.com' \
# -H 'user-agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36' \
# -H 'accept: */*' \
# -H 'origin: https://npgeo-de.maps.arcgis.com' \
# -H 'sec-fetch-site: same-site' \
# -H 'sec-fetch-mode: cors' \
# -H 'sec-fetch-dest: empty' \
# -H 'referer: https://npgeo-de.maps.arcgis.com/apps/opsdashboard/index.html' \
# -H 'accept-language: en-US,en;q=0.9' \
# --compressed
# curl 'https://services7.arcgis.com/mOBPykOjAyBO2ZKk/arcgis/rest/services/RKI_COVID19/FeatureServer/0/query?f=json&where=IdLandkreis%3D%2708111%27&returnGeometry=false&spatialRel=esriSpatialRelIntersects&outFields=*&resultOffset=0&resultRecordCount=1&resultType=standard&cacheHint=true' \
# -H 'authority: services7.arcgis.com' \
# -H 'user-agent: Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.183 Safari/537.36' \
# -H 'accept: */*' \
# -H 'origin: https://npgeo-de.maps.arcgis.com' \
# -H 'sec-fetch-site: same-site' \
# -H 'sec-fetch-mode: cors' \
# -H 'sec-fetch-dest: empty' \
# -H 'referer: https://npgeo-de.maps.arcgis.com/apps/opsdashboard/index.html' \
# -H 'accept-language: en-US,en;q=0.9' \
# --compressed