George H. Hargreaves et son équipe ont fait un travail colossal sur Haïti dans les années '80. Ils ont pu réunir un ensemble des données de pluviométrie et de température pour un total de 135 stations. Ce document a été publié en 1983. Sa numérisation n'a pas facilité son exploitation par les professionnels. La raison est simple: le format reste non structuré même si les données sont représentées dans des tableaux.
Ce travail d'extraction vise à mettre les données à la disposition de ceux-là qui souhaitent en faire usage de données climatiques (historiques) sur Haïti. Dans un premier temps un certain pourcentage de données seront extraites du fichier pdf disponible ici (Manuel Hargreaves) et dans un second temps(dans un autre projet) une application web permetra mieux l'accès aux différents jeux de données.
Extraction des données du pdf¶
Le pdf_text de pdftools s'est révélé assez efficace pour la lecture des caractères présents dans ce document publié dans les années 80. On a aussi désactivé les avertissements de R.
library(pdftools)
library(tidyverse)
library(readxl)
options(warn=-1)
Pour une meilleure "reproduciblité", le fichier en question est téléchargé via un lien internet.
link <- "https://www.dropbox.com/s/jmecb4msz2n1pld/hargreaves_data.pdf?raw=1"
download.file(link, "dataset/hargreaves.pdf", mode = "wb")
La fonction pdf_text de pdf_tools fait tout le travail de lecture des caractères. Les données des stations qui n' ont pas pu être lues seront laissées de coté.
all_lines <- pdf_text("dataset/hargreaves.pdf") %>%
readr::read_lines()%>%
str_squish()
Voici les 35 premières lignes du fichier lu. Elles représentent les données pour une station(Anse-à-Galets). Les lignes qui vont nous intéresser sont celles où se trouvent les informations sur la station (nom, latitude, longitude, et l' age des données collectées) et les informations en rapport à l'analyse des données à savoir la pluviométrie moyenne (MEAN), l'évapotranspiration (ETP), la température(TEM), la pluviométrie maximale et minimale(PMAX, PMIN).
for(line in all_lines[1:35])
print(line)
Vue globale des données¶
Les patterns décelés permettent de poser les premières bases pour l'extraction des données. Ici, le mot "DATA" apparait avant chaque tableau de données climatiques et le terme "YEAR" est dans la même que les données sur les stations. Ainsi, nous avons 135 jeux de données.
id<-grep('DATA',all_lines)
station<-grep('YEAR',all_lines)
length(id)
length(station)
Ici on présente un extrait des lignes comportant les données sur les stations. On remarque le même pattern dans presque tous les cas.
for(stat in station[1:10])
print(all_lines[stat])
Extraction du nom des stations¶
Les expressions régulières ont permis d'extraire le nom des différentes stations.
listStation<-list()
number_year<-NULL
lat<-NULL
long<-NULL
nameStation<-NULL
for (i in 1:length(id))
{
station_split<-all_lines[station[i]]%>%
strsplit(split = " ")
station_line<-all_lines[station[i]]
pattern<-"ON(.)*LAT"
station_name<-regmatches(station_line, regexpr(pattern, station_line))%>%
str_replace("LAT","")%>%
str_replace("\\d+","")%>%
str_replace("ON","")%>%
str_replace("\\.","")%>%
str_squish()
nameStation[i]<-ifelse(length(station_name)==0,"No Name",station_name)
}
Ici, on représente le nom de 10 stations. A remarquer que les noms de certaines stations n'ont pas pu être lus ou ont été mal lus. C'est le cas de la 5e et de la neuvième station.
print(matrix((nameStation[1:10])))
Extraction des données climatiques¶
Pour les données climatiques, les enregistrements qui n'ont pas de données sur tous les mois seront écartés.
for (i in 1:length(id))
{
lst<-all_lines[(id[i]+1):(id[i]+5)]%>%
strsplit(split = " ")# remove empty spaces
if(length(lst[[1]])!=14|length(lst[[2]])!=14|length(lst[[3]])!=14|
length(lst[[4]])!=14|length(lst[[5]])!=14)
{
next
}
else
{
df<-as.data.frame(lst,fix.empty.names =FALSE)
tdf<-t(df)
colnames(tdf)<-c('facteur','jan','feb','mar','apr','may','jun',
'jul','aug','sept','oct','nov','dec',
'year')
df_last<-apply(tdf[,-1],2,as.numeric)
df_last<-as.data.frame(df_last)
df_last$facteur<-tdf[,1]
df_last<-df_last[,1:13]
rownames(df_last)<-c("PMean","ETP",
"Temp","PMAX","PMin")
listStation[[i]]<-df_last
names(listStation)[i]<-nameStation[i]
}
#print( listStation)
}
Une vue des données par station est fournie ici:
head(listStation)
On remarquera que certains éléments de la liste n'ont pas de valeur. Faisons un peu de nettoyage. Sur les 135 stations, les données extraites concernent un total de 96.
cleanStation<-listStation[names(listStation) != ""]
length(cleanStation)
Extraction des données sur les stations¶
Les expressions régulières ont encore facilité l'extraction de l'age des données collectées, la longitude, la latitude des stations concernées.
for (i in 1:length(id))
{
lst<-all_lines[(id[i]+1):(id[i]+5)]%>%
strsplit(split = " ")
if(length(lst[[1]])!=14|length(lst[[2]])!=14|length(lst[[3]])!=14|
length(lst[[4]])!=14|length(lst[[5]])!=14)
{
next
}
else
{
station_line<-all_lines[station[i]]
patyear<-"([[:digit:]]+)([[:space:]]+)YEAR"
number_year[i]<-regmatches(station_line, regexpr(patyear, station_line))%>%
str_replace("YEAR","")%>%
str_squish()
patlat<-"LAT(.){6}"
lat[i]<-regmatches(station_line, regexpr(patlat, station_line))%>%
str_replace("[A-Z]*","")%>%
str_squish()%>%
str_replace(" ",".")
#print(lat[i])
patlon<-"(.){6}\\bELE"
long[i]<-regmatches(station_line, regexpr(patlon, station_line))%>%
str_replace_all("[A-Z]*","")%>%
str_squish()%>%
str_replace(" ",".")
}
#print( listStation)
}
Par exemple, nous avons ici l'age des données collectées pour les dix premières stations.
number_year[1:10]
Dataframe des données sur les stations¶
Les données sur les stations sont pour la plupart des données numériques. Faisons la transformation et un peu de nettoyage.
year_clean<-as.numeric(number_year[!is.na(number_year)])
lat_clean<-as.numeric(lat[!is.na(lat)])
long_clean<-as.numeric(long[!is.na(long)])
df_extra<-data.frame(names(cleanStation),lat_clean,long_clean,year_clean)
names(df_extra)<-c("stationName","Latitude","Longitude","numberYear")
Voici les 10 premiers enregistrements du dataframe formant les données sur les stations.
head(df_extra)
Structuration des données pour un meilleur partage¶
Le fichier pdf a été lu à l'aide de la fonction pdf_text de pdf_tools. Certaines données incomplètes ont été écartées. Aucune donnée n'a été saisie manuellement pour compléter les jeux extraits. L'extraction automatique a été faite pour 96 sur 135 jeux de données disponibles dans le manuel de George H. Hargreaves.
La structuration des données non structurées requiert du temps. Chaque cas présente ses caractéristiques propres. Autrement dit, les traitements effectués sur le présent fichier pdf ne seront pas automatiquement valables pour un autre ensemble de données non structurées.
La structuration automatique des données de ce fichier a été le pas indispensable pour la construction d'une application web disponible ici (HargreavesApp). Celle-ci contribuera à une plus large accessibilité aux données historiques climatiques de Hargreaves.