合并大数据的高效替代方案

我正在寻找一种有效的（计算机资源明智的和学习/实施明智的）方法来合并两个更大（大小> 1百万/ 300 KB的RData文件）数据帧。

基础R中的“合并”和plyr中的“合并”似乎耗尽了我所有的内存，从而有效地崩溃了我的系统。

例
加载测试数据帧

并尝试

test.merged<-merge(test, test)

要么

test.merged<-join(test, test, type="all")  

-

---

以下文章提供了一个合并和替代的列表：
如何加入（合并）数据框架（内部，外部，左侧，右侧）？

以下允许对象尺寸检查：
https://heuristically.wordpress.com/2010/01/04/r-memory-usage-statistics-variable/

匿名生成的数据

---

以下是强制性的data.table示例：

library(data.table)

## Fix up your example data.frame so that the columns aren't all factors
## (not necessary, but shows that data.table can now use numeric columns as keys)
cols <- c(1:5, 7:10)
test[cols] <- lapply(cols, FUN=function(X) as.numeric(as.character(test[[X]])))
test[11] <- as.logical(test[[11]])

## Create two data.tables with which to demonstrate a data.table merge
dt <- data.table(test, key=names(test))
dt2 <- copy(dt)
## Add to each one a unique non-keyed column
dt$X <- seq_len(nrow(dt))
dt2$Y <- rev(seq_len(nrow(dt)))

## Merge them based on the keyed columns (in both cases, all but the last) to ...
## (1) create a new data.table
dt3 <- dt[dt2]
## (2) or (poss. minimizing memory usage), just add column Y from dt2 to dt
dt[dt2,Y:=Y]

---

这里是data.table和data.frame方法的一些时间。
使用data.table要快得多。 关于记忆，我可以非正式地报告说这两种方法在RAM使用中非常相似（在20％以内）。

library(data.table)

set.seed(1234)
n = 1e6

data_frame_1 = data.frame(id=paste("id_", 1:n, sep=""),
                          factor1=sample(c("A", "B", "C"), n, replace=TRUE))
data_frame_2 = data.frame(id=sample(data_frame_1$id),
                          value1=rnorm(n))

data_table_1 = data.table(data_frame_1, key="id")
data_table_2 = data.table(data_frame_2, key="id")

system.time(df.merged <- merge(data_frame_1, data_frame_2))
#   user  system elapsed 
# 17.983   0.189  18.063 


system.time(dt.merged <- merge(data_table_1, data_table_2))
#   user  system elapsed 
#  0.729   0.099   0.821 

---

你需要在R中进行合并吗？ 如果没有，使用简单的文件连接合并底层数据文件，然后将它们加载到R.（我意识到这可能不适用于您的情况 - 但如果它确实如此，它可以为您节省很多头痛。）

链接地址: http://www.djcxy.com/p/24905.html

上一篇: Efficient alternatives to merge for larger data.frames R

下一篇: Translating SQL joins on foreign keys to R data.table syntax