[原]基于RStudio Webinars的统计报告Web化与工程化实践总结

概述

本文根据 Rstudio Webinars 的教程资源对Rstudio流的R语言教程做一个汇总，可以看到Rstudio对统计报告的Web化和工程化做了大量贡献。感谢Rstudio的众多工程师在开源的道路上的贡献！

谢溢辉：LaTex/Word的统计报告大逃亡之Rmarkdown生态

教学视频地址

在可交互、可复用的统计报告中，谢溢辉将介绍一众R包，包括 knitr、rmarkdown、htmlwidgets、DT、leaflet以及shiny。

快速标准的论文书写

# $something$ 或者 $$something$$ 可以解决数学公式的问题
# 利用 bib 文件和[@something] 可以解决引用的问题
# 同样的，你也可以根据一些机构要求引入标准的模板。

参考谢溢辉的Rmarkdown论文
参考谢溢辉的bib文件

屏蔽源码

# ```{r echo=F}屏蔽源代码
# ```{r, fig.width=5, fig.height=4} 设置配图大小
# 脚注

代码段内存共享

• 利用cache选项复用代码和数据

Sys.sleep(5)
rnorm(1)

输出其他语言代码

• 利用engine选项选择代码引擎，驱动python、R、scala、Rcpp、bash、perl、node等

x = 'hello, python
world!'
print(x)
print(x.split(' '))

交互式文档

• 利用yaml配置中的runtime选项

---
author: Harry Zhu
output: html_document
runtime: shiny
---

同理，你也可以选择输出slide、pdf或者word，你甚至可以给html定制一个css皮肤。

在我看来，rmarkdown是一款超越Zeppelin和iPython notebook的产品。
最总要的意义在于，学术工作者和工程师们不仅仅可以摆脱格式对创作的束缚专注于代码和文档，更是随意输出pdf、slide、html、word、latex等多种格式，形成强有力的跨界冲击。

谢溢辉本人有超过10年以上的LaTex使用经验，他的rmarkdown和knitr造福了一代学术工作者，显然LaTex和Word的体系在这种降维攻击下已经摇摇欲坠。

Hadley Wickham：R与大数据共舞

教学视频地址

R是一门为小数据探索和开发设计的语言,但在生产中R和大数据在一起还能发挥作用吗? 我们定义数据量大于单机内存的数据为大数据。让我们对比一下大数据与小数据的生命周期。

一个小数据分析项目的生命周期：

• 阐明：熟悉数据、模板解决方案

• 开发：创建有效模型

• 产品化：自动化与集成

• 发布：社会化

一个大数据分析项目的生命周期：

• 切片：抽取部分数据

• 阐明：熟悉数据、模板解决方案

• 开发：创建有效模型

• 扩展：使用到整个数据集

• 产品化：自动化与集成

• 发布：社会化

dplyr与数据读取

教学视频地址

Package	DBMS
src_sqlite()	SQLite
src_mysql	MySQL
src_postgres	PostgreSQL
library(bigquery) src_bigquery()	Google BigQuery

显示SQL

show_query(clean)

中间缓存

collapse()返回正在处理的结果

# 抽取 1% 的训练数据
random <- clean %>%
 mutate(x = random()) %>%
 collapse() %>%
 filter(x <= 0.01) %>%
 select(-x) %>%
 collect()

数据存储

copy_to() 根据本地的data frame 在数据库创建一个表

# air为connection名称，query5为data frame，"gains"为表名
copy_to(air, query5, name = "gains")
# 关闭连接
rm(air)
# 垃圾收集器
gc()

Hadley Wickham:ETL

教学视频地址

本节将讨论一个有效的数据分析/数据科学问题框架，包括：

• 数据读取 readr/httr/DBI

• 数据清洗 tidyr/jsonlite

• 数据处理 dplyr/rlist

• 数据可视化 ggplot2/ggvis

• 数据建模 broom/modelr

broom：快速分析

install.packages("broom")
# 查看相关例子
browseVignettes(package="broom")

Hadley Wickham是RStudio的首席科学家，并兼任统计莱斯大学的兼职教授。他将一一介绍他认为你应该知道的各种R包,并概述大数据和R,但主要是解释为什么他相信你不应该担心大数据的问题。

modelr：建模工具

install.packages("modelr")

下面是modelr核心函数，可以辅助抽样、交叉验证、残差计算等等

modelr::%>%                 modelr::data_grid           modelr::mae                 modelr::rmse
modelr::add_predictions     modelr::fit_with            modelr::model_matrix        modelr::rsquare
modelr::add_predictors      modelr::formulae            modelr::na.warn             modelr::seq_range
modelr::add_residuals       modelr::formulas            modelr::qae                 modelr::spread_predictions
modelr::bootstrap           modelr::gather_predictions  modelr::resample            modelr::spread_residuals
modelr::crossv_kfold        modelr::gather_residuals    modelr::resample_bootstrap  modelr::typical
modelr::crossv_mc           modelr::geom_ref_line       modelr::resample_partition 

garrettgman:packrat与虚拟化技术

教学视频地址

你是否有过这样与人合作开发的经历：在自己机器上运行完美的R代码，复制到另外一台同事的机器上运行就有很多R包需要重新安装，有的R包甚至依赖于不同的版本？现在，在不使用Docker或Vagrant等全局虚拟化技术的条件下，只需要运用packrat包，就可以保证你的R项目的依赖问题被很好的解决，一次运行，到处运行。

if(!require(packrat)){install.packages("packrat")}
getOption("repos") # 显示代码镜像源
packrat:: bundle() # 打包当前环境并虚拟化
packrat:: unbundle(bundle="xxx.tar.gz",where=".") # 加载已经打包过的环境
packrat::opts$local.repos("~/R") # 设置本地repos为路径
packrat::install_local("pryr") # 从本地安装

Hadley Wickham:Git与团队协作

教学视频地址

团队协作:利用Git 和 GitHub，你可以很轻松的与人协作，你不再需要用邮件附件来备份文档，或者在Dropbox上为争夺编辑权限而争吵。相反，你可以独立工作，最后只需要合并你们的成果就可以。

版本控制: Git 在我们制造重大错误时都允许我们回滚到之前的任意时间点。我们也可以回顾我们之前所做的一起历史记录，跟踪bug的形成过程。

作为分享主义者(sharism)，本人所有互联网发布的图文均遵从CC版权，转载请保留作者信息并注明作者 Harry Zhu 的 FinanceR 专栏:https://segmentfault.com/blog...，如果涉及源代码请注明GitHub地址：https://github.com/harryprince。微信号: harryzhustudio
商业使用请联系作者。