scripts/view_download_2011_failures.R

In petermeissner/wikipediadumbs: Handling Wikipedia Page View Dumps

# script to download all data for 2011
library(wpd)
library(fs)

dir.create("/data/wpd/failures", showWarnings = FALSE)

failures <-
  c(
    "2011-01-17", "2011-01-18", "2011-01-19", "2011-01-20",
    "2011-01-21", "2011-01-22", "2011-02-24", "2011-02-25",
    "2011-05-01", "2011-05-02", "2011-05-03", "2011-05-04",
    "2011-05-05", "2011-05-06", "2011-05-07", "2011-05-08", "2011-05-09",
    "2011-05-10", "2011-05-11", "2011-05-12", "2011-05-13", "2011-05-14",
    "2011-05-15", "2011-05-16", "2011-05-17", "2011-05-18", "2011-05-19",
    "2011-05-20", "2011-05-21", "2011-05-22", "2011-05-23", "2011-05-24",
    "2011-05-25", "2011-05-26", "2011-05-27", "2011-05-28", "2011-05-29",
    "2011-05-30", "2011-05-31", "2011-06-01", "2011-06-02", "2011-06-03",
    "2011-06-04", "2011-06-05", "2011-06-06", "2011-06-07", "2011-06-08",
    "2011-06-09", "2011-06-10", "2011-06-11", "2011-06-12", "2011-06-13",
    "2011-06-14", "2011-06-15", "2011-06-16", "2011-06-17", "2011-06-18",
    "2011-06-19", "2011-06-20", "2011-06-21", "2011-06-22", "2011-06-23",
    "2011-06-24", "2011-06-25", "2011-06-26", "2011-06-27", "2011-06-28",
    "2011-06-29", "2011-06-30", "2011-08-29", "2011-08-30", "2011-08-31",
    "2011-09-01", "2011-09-02", "2011-09-03", "2011-09-04", "2011-09-05",
    "2011-09-06", "2011-09-07", "2011-09-08", "2011-09-09", "2011-09-10",
    "2011-09-11", "2011-09-12", "2011-09-13", "2011-09-14", "2011-09-15",
    "2011-09-16", "2011-09-17", "2011-09-18", "2011-09-19", "2011-09-20",
    "2011-09-21", "2011-09-22", "2011-09-23", "2011-09-24", "2011-09-25",
    "2011-09-26", "2011-09-27", "2011-09-28", "2011-09-29", "2011-09-30",
    "2011-10-25", "2011-10-30", "2011-10-31", "2011-11-01", "2011-11-02",
    "2011-11-03", "2011-11-04", "2011-11-05", "2011-11-06", "2011-11-07",
    "2011-11-08", "2011-11-09", "2011-11-13", "2011-11-15", "2011-11-16",
    "2011-12-23", "2011-12-24", "2011-12-25"
    )
failures <- gsub("-", "", failures)


for (  i in  failures ){
  wpd_get_dumps(ts = i, directory = "/data/wpd/failures")
  flist <- dir_ls("/data/wpd/failures")
  system("rsync /data/wpd/failures/* pm7:/data/wpd/todo/ -v --progress --ignore-existing")
  file_move(flist, "/data/wpd/todo/")
}