In pttry/pttdatahaku: Data management in PTT

knitr::opts_chunk$set(
  collapse = TRUE,
  comment = "#>",
  fig.path = "man/figures/README-",
  out.width = "100%"
)

pttdatahaku

pttdatahaku provides tools for creating, managing and maintaining PTT's data bases. This package is for PTT's internal use.

To use standardized analysis tools, the data has to be in standardized form. Unfortunately the data available from Statistics Finland and other sources vary in its form. This package gives the tools to create a data bases and provides the tools and default ways of tidying the data into a standard form.

Installation and set up

To install and start using the package:

install.packages("devtools")
devtools::install_github("https://github.com/pttry/pttdatahaku")
library(pttdatahaku)

Currently the databases are in teams folder "Pellervon taloustutkimus - Datapankki/Tietokanta folder". This folder must be synced.

Data standardization

Haettavat tiedot muokataan seuraavaan muotoon:

Pitkä tibble
muuttujanimet
- vain pieniä kirjaimia ilman hyvää syytä isoille kirjaimille
- ei tyhjää välimerkkiä, sen sijaan alaviiva
- Aluemuuttujat - sekä koodi että nimi sarakkeet ("_code", "name"), e.g. (seutu)kunta_code, (maa)kunta_name. - ei "Alue"-nimistä muuttujaa, aluemuuttujalla alueen nimi - numerosarake nimellä "values"
muuttujatyypit
- aikamuuttujat - "time" - Date -muodossa
- kategoriset muuttujat
- ei lyhennetä numeerisia muuttujia esim. tuhansiksi, milj.
missing values merkataan NA

Naming

Datatiedostojen nimet table_code: e.g. tyonv_1001

pxweb haut

Aika ja aluemuuttujista kaikki anonyymisti (*)
Muista muuttujista haettavat merkataan (YLEENSÄ KAIKKI ?)

Hakufunktio: ptt_get_statfi muuntaat tiedostot oikeaan muotoon

Apufunktiot

### Olemassa - statfi_url - Koko statfi osoite loppuosan perusteella. - statfi_url("StatFin", "kou/vkour/statfin_vkour_pxt_12bq.px") - statfi_parse_url - Statfi api:n osoite taulun web sivun osoitteen perusteella. - statfi_parse_url("https://pxnet2.stat.fi/PXWeb/pxweb/fi/StatFin/StatFinvrmmuutl/statfin_muutl_pxt_119z.px/") - pxweb_print_full_query - Kirjoittaa hakulistan taulun kaikille tiedoille. - pxweb_print_full_query(url = statfi_url("StatFin", "vrm/tyokay/statfin_tyokay_pxt_115u.px"))` - pxweb_print_code_full_query, pxweb_print_code_full_query_c - Kirjoittaa hakukoodin taulun kaikille tiedoille. - Toimii sekä api että web osoitteella - pxweb_print_code_full_query("https://pxnet2.stat.fi/PXWeb/pxweb/fi/StatFin/StatFinvrmmuutl/statfin_muutl_pxt_119z.px/") - _c-versio kirjottaa leikepöydälle - conc - Kopioi objektin työpöydälle - alevels - Antaa kaikkien factor-muuttujien levelit - factor_all - Tekee kaikista character-muuttujista factoreita - pc - Laskee prosenttimuutokset - filter_recode Easy filtering and recoding data - print_full_filter_recode to print full filtering code for data to edit