LearningR-数据处理

0
  1. R自带函数

  2. reshape2
    data restructuring

  3. dplyr
    data aggregation

  4. tidyr
    待整理

  5. 字符串处理


1. R自带函数

1.1 转置

使用函数t()可对一个矩阵或数据框进行转置,对于数据框,行名将变成变量(列)名。

cars <- mtcars(1:5,1:4)
cars
t(cars)

数列array进行维度转换 aperm

x <- array(1:24, 2:4)
xt <- aperm(x, c(2,1,3))
dim(x)
dim(xt)

1.2 整合数据aggregate

在R中使用一个或多个by变量和一个预先定义好的函数来折叠(collapse)数据。调用格式为:

aggregate(x,by,FUN)

其中x是待折叠的数据对象,by饰一个变量名组成的列表,这些变量将被去掉以新的观测,而FUN则是用来计算表述性统计量的标量函数,它将被用来计算新观测中的值。

options(digits=2)
attach(mtcars)
mydata <- aggregate(mtcars, by=list(cyl,gear), FUN=mean, na.rm=TRUE)
mydata

by中的变量必须在一个列表中(即使只有一个变量)。也可以在列表中为各组声明自定义的名称,例如by=list(Group.cyl=cyl,Group.gears=gear)。

## example with character variables and NAs
testDF <- data.frame(v1 = c(1,3,5,7,8,3,5,NA,4,5,7,9),
                     v2 = c(11,33,55,77,88,33,55,NA,44,55,77,99) )
by1 <- c("red", "blue", 1, 2, NA, "big", 1, 2, "red", 1, NA, 12)
by2 <- c("wet", "dry", 99, 95, NA, "damp", 95, 99, "red", 99, NA, NA)
aggregate(x = testDF, by = list(by1, by2), FUN = "mean")

# and if you want to treat NAs as a group
fby1 <- factor(by1, exclude = "")
fby2 <- factor(by2, exclude = "")
aggregate(x = testDF, by = list(fby1, fby2), FUN = "mean")

## Formulas, one ~ one, one ~ many, many ~ one, and many ~ many:
aggregate(weight ~ feed, data = chickwts, mean)
aggregate(breaks ~ wool + tension, data = warpbreaks, mean)
aggregate(cbind(Ozone, Temp) ~ Month, data = airquality, mean)
aggregate(cbind(ncases, ncontrols) ~ alcgp + tobgp, data = esoph, sum)

## Dot notation:
aggregate(. ~ Species, data = iris, mean)
aggregate(len ~ ., data = ToothGrowth, mean)

## Often followed by xtabs():
ag <- aggregate(len ~ ., data = ToothGrowth, mean)
xtabs(len ~ ., data = ag)

## Compute the average annual approval ratings for American presidents.
aggregate(presidents, nfrequency = 1, FUN = mean)
## Give the summer less weight.
aggregate(presidents, nfrequency = 1,
          FUN = weighted.mean, w = c(1, 1, 0.5, 1))

1.3 apply

待整理

1.4 union和intersect

x <- c(sort(sample(1:20, 9)), NA)
y <- c(sort(sample(3:23, 7)), NA)
union(x, y)
intersect(x, y)
setdiff(x, y)
setdiff(y, x)
setequal(x, y)
#%in%
(1:10) %in% c(3,7,12)
"%w/o%" <- function(x, y) x[!x %in% y]
(1:10) %w/o% c(3,7,12)
sstr <- c("c","ab","B","bba","c",NA,"@","bla","a","Ba","%")
sstr %in% c(letters, LETTERS)

1.5 合并 cbind和rbind

纵向合并数据通常用于向数据框中添加观测。

  • rbind() :纵向合并两个数据框(数据集)

  • cbind() :横向合并两个数据框(数据集)

注:两个数据框行(列)数必须相同。如果x中拥有y中没有的变量,在合并它们之前需做以下处理:

(1)删除dataframeA中的多余变量;

(2)在dataframeB中创建追加的变量并将其值设为NA(缺失)。

x1 <- c(1:5)
x2 <- c(21:25)
x3 <- c(31:35)
r1 <- cbind(x1, x2)
r2 <- rbind(x1, x2)
r31 <- cbind(r1, x3)
r32 <- rbind(r2, x3)

1.6 匹配合并 merge

merge效果同dplyr的join,join的效力更高。

  • inner_join 等价于 merge(all=F)

  • left_join 等价于 merge(all.x=T, all.y=F)

  • right_join 等价于 merge(all.x=F, all.y=T)

  • full_join 等价于 merge(all=T)

#authors和books
authors <- data.frame(
    surname = I(c("Tukey", "Venables", "Tierney", "Ripley", "McNeil")),
    nationality = c("US", "Australia", "US", "UK", "Australia"),
    deceased = c("yes", rep("no", 4)))
books <- data.frame(
    name = I(c("Tukey", "Venables", "Tierney",
             "Ripley", "Ripley", "McNeil", "R Core")),
    title = c("Exploratory Data Analysis",
              "Modern Applied Statistics ...",
              "LISP-STAT",
              "Spatial Statistics", "Stochastic Simulation",
              "Interactive Data Analysis",
              "An Introduction to R"),
    other.author = c(NA, "Ripley", NA, NA, NA, NA,
                     "Venables & Smith"))

m1 <- merge(authors, books, by.x = "surname", by.y = "name")
m2 <- merge(books, authors, by.x = "name", by.y = "surname")
#m1和m2结果相同,只是结果的列名不同。
#left_join
m3 <- merge(authors, books, by.x = "surname", by.y = "name", all.x = T, all.y = F)
#right_join
m4 <- merge(authors, books, by.x = "surname", by.y = "name", all.x = F, all.y = T)
#full_join
m5 <- merge(authors, books, by.x = "surname", by.y = "name", all = TRUE)

m11 <- inner_join(authors, books, by=c("surname"="name"))
m22 <- inner_join(books, authors, by=c("name"="surname"))
m33 <- left_join(authors, books, by=c("surname"="name"))
m44 <- right_join(authors, books, by=c("surname"="name"))
m55 <- full_join(authors, books, by=c("surname"="name"))

1.7 排除重复数据 unique

unique 函数可以去掉向量、数据框或类似数列的数据中重复的元素。

x <- c(9:20, 1:5, 3:7, 0:8)
y <- unique(x)
#下列方式业可以,但unique方式效率更高.
#duplicated 函数返回了元素是否重复的逻辑值.
y1 <- x[!duplicated(x)]

2. reshape2包

首先将数据“融合”(melt),以使每一行都是一个唯一的标识符-变量组合。
然后将数据“重铸”(cast),可以使用任何函数对数据进行整合成想要的任何形状。

注:reshape包的重铸函数为cast(),reshape2包的重铸函数为dcast()和acast()

#数据集mydata
ID <- c(1,1,2,2)
Time <- c(1,2,1,2)
X1 <- c(5,3,6,2)
X2 <- c(6,5,1,4)
mydata <- data.frame(ID,Time,X1,X2)

2.1融合-melt

数据集的融合是将它重构为这样一种格式:每个测量变量独占一行,行中带有要唯一确定这个测量所需的标识符变量。

library(reshape2)
md <- melt(mydata, id=c("ID","Time"))
md <- melt(mydata, id=1:2)

2.2重铸-dcast和acast

Use acast or dcast depending on whether you want vector/matrix/array output or data frame output. Data frames can have at most two dimensions.

  1. dcast——返回的结果是一个数据框

  2. acast——返回的结果可以是向量、矩阵或者数组

调用格式为:

newdata <- dcast(data, formula, fun.aggregate = NULL, ..., 
  margins = NULL, subset = NULL, fill = NULL, drop = TRUE, 
  value.var = guess_value(data))
newdata <- acast(data, formula, fun.aggregate = NULL, ..., 
  margins = NULL, subset = NULL, fill = NULL, drop = TRUE, 
  value.var = guess_value(data))

其中md为已融合的数据,formula描述想要的结果,FUN是(可选的)数据整合函数。
接受的公式形如:

rowvar1 + rowvar2 + ... ~ colvar1 + colvar2 + ...

在这个公式中,rowvar1 + rowvar2 + ... 定义了要划掉的变量集合,以确定各行的内容,而colvar1 + colvar2 + ... 则定义了要划掉的、确定各列内容的变量集合。

#执行整合
acast(md, ID~variable, mean)
dcast(md, ID~variable, mean)
dcast(md, tTime~variable, mean)
dcast(md, ID~Time, mean)
#不执行整合
dcast(md, ID+Time~variable)
dcast(md, ID+variable~Time)
dcast(md, ID~variable+Time)

R语言实战截图

2.3 练习

library(reshape2)
head(airquality)
mydata <- airquality
mydata1 <- melt(mydata, id=c("Month", "Day"),
  variable.name = "type",value.name = "val")
#选定测量变量为Ozone、Wind
mydata2 <- melt(mydata, id=c("Month", "Day"),
  measure = c("Ozone","Wind"),
  variable.name = "type",value.name = "val")
str(mydata1)
str(mydata2)
#大写转换为小写
names(mydata) <- tolower(names(mydata))
a <- melt(mydata, id=c("month", "day"), na.rm=TRUE)
#数据b和原始数据airquality一样,数据复原了。
b <- dcast(a , month + day ~variable)
result1 <- dcast(a , month  ~variable ,mean)
#查看缺失值数量的函数
myfun <- function(x){return(sum(is.na(x)))}
result2 <- dcast(a, month  ~variable ,myfun)
result3 <- melt(mydata, id=c("month", "day"))
result4 <- dcast(result3 , month  ~variable ,myfun)
result5 <- recast(mydata , month ~ variable , 
  id.var = c('month','day') , fun = myfun)

3. dplyr

3.1 基本操作

3.1.1 数据类型

将过长过大的数据集转换为显示更友好的 tbl_df 类型

library(dplyr)
iris_df <- tbl_df(iris)

3.1.2 筛选filter

按给定的逻辑判断筛选出符合要求的子数据集, 类似于 base::subset() 函数

filter(iris_df, Species == 'setosa' , Sepal.Length >=5)
filter(iris_df, Species == 'setosa' & Sepal.Length >=5)

用R自带函数实现:

iris_df[iris_df$Species == 'setosa' & iris_df$Sepal.Length >=5, ]

除了代码简洁外, 还支持对同一对象的任意个条件组合, 如:

filter(iris_df, Species == 'setosa' | Sepal.Length >=5)

注意: 表示 AND 时要使用 & 而避免 &&

3.1.3 排列 arrange

arrange(iris_df, Sepal.Length, Sepal.Width)
arrange(iris_df, desc(Sepal.Length))
#这个函数和 plyr::arrange() 是一样的, 类似于 order()

用R自带函数实现:

iris_df[order(iris_df$Sepal.Length, iris_df$Sepal.Width), ]
iris_df[order(desc(iris_df$Sepal.Length)), ]

3.1.4 选择select

用列名作参数来选择子数据集:

select(iris_df, 5, 1:2)
select(iris_df, Species, Sepal.Length, Sepal.Width)
select(iris, Species, everything())
#重命名列名
select(iris_df, Species, Length=Sepal.Length, Width=Sepal.Width)
select(iris_df, petal = starts_with("Petal"))

排除列名:

select(iris_df, -Petal.Length, -Petal.Width)

select的特殊函数

  • starts_with(x, ignore.case = TRUE): names starts with x

  • ends_with(x, ignore.case = TRUE): names ends in x

  • contains(x, ignore.case = TRUE): selects all variables whose name contains

  • matches(x, ignore.case = TRUE): selects all variables whose name matches the regular expression x

  • num_range("x", 1:5, width = 2): selects all variables (numerically) from x01 to x05.

  • one_of("x", "y", "z"): selects variables provided in a character vector.

  • everything(): selects all variables.

select(iris_df, everything())
select(iris_df, starts_with("Petal"))
select(iris_df, ends_with("Width"))
select(iris_df, contains("etal"))
select(iris_df, matches(".t."))
#选取名称符合指定表达式规则的列
select(iris_df, Sepal.Length:Petal.Width)
select(iris_df, Petal.Length, Petal.Width)
vars <- c("Petal.Length", "Petal.Width")
select(iris_df, one_of(vars))
df <- as.data.frame(matrix(runif(100), nrow = 10))
df <- tbl_df(df)
select(df, V4:V6)
select(df, num_range("V", 4:6))

":" 选择连续列,contains来匹配列名

同样类似于R自带的subset() 函数.

subset(iris,select=c(1,2))
subset(iris,select=c(3,4))
subset(iris,select=c(Petal.Length, Petal.Width))

Programming with select 存疑??

select_(iris_df, ~Petal.Length)
select_(iris_df, "Petal.Length")
select_(iris_df, lazyeval::interp(~matches(x), x = ".t."))
select_(iris_df, quote(-Petal.Length), quote(-Petal.Width))
select_(iris_df, .dots = list(quote(-Petal.Length), quote(-Petal.Width)))

3.1.5 添加新变量mutate

对已有列进行数据运算并添加为新列:

mtcars_df <- tbl_df(mtcars)
mutate(mtcars_df, displ_l = disp / 61.0237)
#transmute结果只有计算的字段
transmute(mtcars_df, displ_l = disp / 61.0237)

mutate_each()

对每一列运行窗体函数。

mutate_each(iris, funs(min_rank))

plyr::mutate() 与 base::transform() 相似, 优势在于可以在同一语句中对刚增加的列进行操作。

mutate(hflights_df, 
  gain = ArrDelay - DepDelay, 
  gain_per_hour = gain / (AirTime / 60)
)
#而同样操作用R自带函数 transform() 的话就会报错:
transform(hflights, 
  gain = ArrDelay - DepDelay, 
  gain_per_hour = gain / (AirTime / 60)
)

通过data.frame有可以实现

mtcars_df <- data.frame(mtcars_df,displ_l = mtcars_df$disp / 61.0237)

3.1.6 汇总summarise

summarise(mtcars_df, mean(disp, na.rm = TRUE), n())
summarise(group_by(mtcars_df, cyl), mean(disp), n())
summarise(group_by(mtcars_df, cyl), m = mean(disp), sd = sd(disp))
#对每⼀一列运⾏行概述函数。
summarise_each(iris, funs(mean))
by_species <- iris %>% group_by(Species)
by_species %>% summarise_each(funs(length))
by_species %>% summarise_each(funs(mean))
by_species %>% summarise_each(funs(mean), Petal.Width)
by_species %>% summarise_each(funs(mean), matches("Width"))

count()

#计算各变量中每⼀一个特定值的⾏行数(带权重或不带权重)。
count(iris, Species, wt = Sepal.Length)
count(iris, Species, mycount = n())

3.1.7 tally

mtcars %>%
    group_by(cyl, vs) %>%
    tally(sort = TRUE)
#与下列方式相同
mtcars %>%
    group_by(cyl, vs) %>%
    summarise(n = n()) %>%
    arrange(cyl,vs,n)

3.2 分组group_by

当对数据集通过 group_by() 添加了分组信息后,mutate(), arrange() 和 summarise() 函数会自动对这些 tbl 类数据执行分组操作 (R语言泛型函数的优势).

summarise(mtcars_df, mean(disp, na.rm = TRUE), n())
summarise(group_by(mtcars_df, cyl), mean(disp), n(),n_distinct(gear))
summarise(group_by(mtcars_df, cyl), m = mean(disp), sd = sd(disp))
#a mutate/rename followed by a simple group_by
group_by(mtcars_df, vsam = vs + am)
group_by(mtcars_df, vs2 = vs)
summarise(group_by(mtcars_df, cyl2=cyl), m = mean(disp), sd = sd(disp))

另: 一些汇总时的小函数

n(): 计算个数
n_distinct(x): 计算 x 中唯一值的个数

3.3 链式操作(管道) %>% 或 %.%

dplyr包还新引进了一个操作符,读成then,使用时把数据名作为开头, 然后依次对此数据进行多步操作。比如:

mtcars %>%
    group_by(cyl) %>%
    summarise(total = sum(disp)) %>%
    arrange(desc(total)) %>%
    head(5)
(x1-x2)^2%>%sum()%>%sqrt()

按数据处理的思路写代码, 一步步深入, 既易写又易读, 接近于从左到右的自然语言顺序, 对比一下用R自带函数实现的.

head(arrange(summarise(group_by(mtcars, cyl), total = sum(disp)) , desc(total)), 5)
x1 <- 1:5
x2 <- 2:6
sqrt(sum((x1-x2)^2))

或者像这篇文章所用的方法:

totals <- aggregate(. ~ cyl, data=mtcars[,c("cyl","disp")], sum)
ranks <- sort.list(-totals$disp)
#ranks <- order(-totals$disp)
totals[ranks[1:5],]

文章里还表示: 通过 %>% 那段代码比跑上面这段代码,运算速度提升很多倍.

至于这个新鲜的概念会不会和 ggplot2 里的 + 连接号一样, 发挥出种种奇妙的功能呢? 还是在实际使用中多体验感受吧.

3.5 数据匹配合并join

  • inner_join(x, y) :只包含同时出现在x,y表中的行

  • left_join(x, y) :包含所有x中以及y中匹配的行

  • semi_join(x, y) :包含x中,在y中有匹配的行,结果为x的子集

  • anti_join(x, y) :包含x中,不匹配y的行,结果为x的子集,与semi_join相反

  • full_join(x, y) :包含所以x、y中的行

  • right_join(x, y) :包含所有y中以及x中匹配的行

x <- data.frame(name = c("John", "Paul", "George", "Ringo", "Stuart", "Pete"),
  instrument = c("guitar", "bass", "guitar", "drums", "bass","drums"))
y <- data.frame(name = c("John", "Paul", "George", "Ringo", "Brian"),
  band = c("TRUE", "TRUE", "TRUE", "TRUE", "FALSE"))
inner_join(x, y)
left_join(x, y)
semi_join(x, y)
anti_join(x, y)
full_join(x, y)
right_join(x,y)

3.6 连接数据库

  • dplyr 可以连接数据库

  • 使用与本地数据框操作一样的语法

  • 只支持生成SELECT语句

  • 支持SQLite, PostgreSQL/Redshift, MySQL/MariaDB, BigQuery, MonetDB

3.7 利用窗体函数变换数据

函数 说明
dplyr::lead 把除第一个值以外的所有元素提前,最后一个元素为NA
dplyr::lag 把除第一个值以外的所有元素延后,第一个元素为NA
dplyr::dense_rank 无缝排序
dplyr::min_rank 排序。并列时,其他序号顺延
dplyr::percent_rank 把数据在[0,1]中充足并排列
dplyr::row_number 排序。并列时,位置在前的并列数据序号在前
dplyr::ntile 把向量分为n份
dplyr::between 数据是否在a和b之间
dplyr::cume_dist 累计分布
dplyr::cumal 累计all函数
dplyr::cumany 累计any函数
dplyr::cummean 累计mean函数
cumsum 累计sum函数
cummax 累计max函数
cummin 累计min函数
cumprod 累计prod函数
pmax 针对元素的max函数
pmin 针对元素的min函数

4. tidyr

tidyr包的作者也是Hadley Wickham, 与dplyr包结合使用,是reshape2包的替代。
(先挖坑...)

5. 字符串处理

5.1 字符个数 nchar

nchar()能够获取字符串的长度,它和length()的结果是有区别的。

nchar(c("abc", "abcd"))    #求字符串中的字符个数,返回向量c(3, 4)
length(c("abc", "abcd"))  #返回2,向量中元素的个数

5.2 连接字符 paste

paste()不仅可以连接多个字符串,还可以将对象自动转换为字符串再相连,另外它还能处理向量,所以功能更强大。

paste("fitbit", month, ".jpg", sep="")
paste("fitbit", 1:12, ".jpg", sep = "")

paste默认的分隔符是空格,必须指定sep=""。还有一个collapse参数,可以把这些字符串拼成一个长字符串,而不是放在一个向量中。

paste("fitbit", 1:3, ".jpg", sep = "", collapse = "; ")

另外还有一个paste0函数,默认就是sep=""

5.3 分割字符 strsplit

strsplit(x, split, fixed = FALSE, perl = FALSE, useBytes = FALSE)
x <- c(as = "asfef", qu = "qwerty", "yuiop[", "b", "stuff.blah.yech")
strsplit(x,"e")
#需要注意的细节
strsplit(paste(c("", "a", "")
strsplit("", " ")[[1]]
strsplit(" ", " ")[[1]]

##倒序运用:
strReverse <- function(x)
        sapply(lapply(strsplit(x, NULL), rev), paste, collapse = "")
strReverse(c("abc", "Statistics"))

5.4 提取字符 substr与substring

substr(x, start, stop)
substring(text, first, last = 1000000L)
substr(x, start, stop) <- value
substring(text, first, last = 1000000L) <- value
substr("abcdef", 2, 4)
substring("abcdef", 1:6, 1:6)

substr(rep("abcdef", 4), 1:4, 4:5)
x <- c("asfef", "qwerty", "yuiop[", "b", "stuff.blah.yech")
substr(x, 2, 5)
substring(x, 2, 4:6)
substring(x, 2) <- c("..", "+++")

5.5 替换字符 sub和gsub

  • sub 只做一次替换(不管有几次匹配)

  • gsub 把满足条件的匹配都做替换

sub(pattern, replacement, x, ignore.case = FALSE, perl = FALSE,
    fixed = FALSE, useBytes = FALSE)
gsub(pattern, replacement, x, ignore.case = FALSE, perl = FALSE,
     fixed = FALSE, useBytes = FALSE)

虽然sub和gsub是用于字符串替换的函数,但严格地说R语言没有字符串替换的函数,因为R语言不管什么操作对参数都是传值不传址。所以原字符串并没有改变,要改变原变量我们只能通过再赋值的方式。

text <- "Hello Adam!\nHello Ava!"
sub(pattern="Adam", replacement="World", text)
text
sub(pattern="Adam|Ava", replacement="World", text)
gsub(pattern="Adam|Ava", replacement="world", text)

sub和gsub函数可以使用提取表达式(转义字符+数字)让部分变成全部

sub(pattern=".*(Adam).*", replacement="\\1", text)
str <- "Now is the time      "
sub(" +$", "", str)
sub("[[:space:]]+$", "", str)
sub("\\s+$", "", str, perl = TRUE)
txt <- "a test of capitalizing"
gsub("(\\w)(\\w*)", "\\U\\1\\L\\2", txt, perl=TRUE)
gsub("\\b(\\w)",    "\\U\\1",       txt, perl=TRUE)

5.6 字符查询匹配 grep

  • grep 返回匹配项的下标

  • grepl 返回所有查询结果的逻辑向量

  • regexpr

  • gregexpr

  • regexec
    regexpr、gregexpr和regexec这三个函数返回的结果包含了匹配的具体位置和字符串长度信息,可以用于字符串的提取操作。

x <- c("abc","abcdef","def")
grep("def", x)
#grep返回匹配项的下标
#grepl返回所有查询结果的逻辑向量。两者的结果都可用于提取数据子集
grepl("def", x)
regexpr、gregexpr和regexec

5.5 其他

  • 大小写转换 tolower与toupper

  • 列表转换为向量unlist
    unlist(x, recursive = TRUE, use.names = TRUE)

  • 重复输入rep()

rep(1:4, 2)
rep(1:4, each = 2)
rep(1:4, c(2,2,2,2))
rep(1:4, c(2,1,2,1))
rep(1:4, each = 2, len = 4)
rep(1:4, each = 2, len = 10)
rep(1:4, each = 2, times = 3) 

5.6 stringr包

stringr包是用来处理字符串的。(先挖坑...)

附录A 正则表达式

待整理

附录B

你可能感兴趣的

BruceZhaoR · 2016-06-03

楼主整理不容易啊,整理完是不是感觉数据处理功力瞬间提升几倍。。期待附录的整理啊。。
ps: 需要提醒的是:plyr 由dplyr替代,reshape2 由tidyr替代,已经不再更新了。 字符串的处理推荐一个包:stringr 。

回复

JeevanYue 作者 · 2016-06-04

非常感谢!初衷也是希望通过写笔记的形式能让自己学习更加全面,提高效率。
关于您提到的内容,我再多多学习、整理,谢谢!

回复

BruceZhaoR · 2016-06-09

整理更新的好快啊~赞一个?? 我还是太懒了,好久没更新了。。

回复

载入中...