根据数据帧的长度将数据帧分成相等的部分

Split dataframe into equal parts based on length of the dataframe

问题:我需要将几个不同的大型数据帧(例如 50k 行)分成更小的块,每个块具有相同的行数。但是,我不想为每个数据集手动设置块的大小。相反,我想要这样的代码:

  • 检查数据帧的长度并确定有多少块

    大约几千行的原始数据框可以分解成

  • 最小化必须丢弃的"剩余"行数

这里提供的答案是相关的:Split a vector into chunks in R

但是,我不想手动设置块大小。我希望代码找到将最小化剩余部分的"最佳"块大小。

示例:(基于 Harlan 在上述链接中的回答)

df <- rnorm(20752)

max <- 20

x <- seq_along(df)

df <- split(df, ceiling(x/max))

str(df)

> List of 5

> $ 1: num [1:5000] -1.4 -0.496 -1.185 -2.071 -1.118 ...

> $ 2: num [1:5000] 0.522 1.607 -2.228 -2.044 0.997 ...

> $ 3: num [1:5000] 0.295 0.486 -1.085 0.515 0.96 ...

> $ 4: num [1:5000] 0.695 -0.58 -1.676 1.052 1.266 ...

> $ 5: num [1:752] -0.6468 0.1731 0.5788 -0.0584 0.8479 ...# number of rows of your data.frame (from your example... )

nrows <- 20752



# acceptable range for sub-data.frame size

subSetSizes <- 4000:10000



remainders <- nrows %% subSetSizes 

minIndexes <- which(remainders == min(remainders))

chunckSizesHavingMinRemainder <- subSetSizes[minIndexes]



# > chunckSizesHavingMinRemainder

# [1] 5188



# the remainder of 20752 / 5188 is indeed 0 (the only minimum)

# nrows %% 5188 

# > [1] 0

如果我选择了 4100 行的块大小,我将有 5 个块,其余为 252 行。这更可取,因为我会丢弃更少的数据点。只要块至少有几千行,我不在乎它们的大小。


这是一种蛮力方法(但非常快):

df <- rnorm(20752)

max <- 20

x <- seq_along(df)

df <- split(df, ceiling(x/max))

str(df)

> List of 5

> $ 1: num [1:5000] -1.4 -0.496 -1.185 -2.071 -1.118 ...

> $ 2: num [1:5000] 0.522 1.607 -2.228 -2.044 0.997 ...

> $ 3: num [1:5000] 0.295 0.486 -1.085 0.515 0.96 ...

> $ 4: num [1:5000] 0.695 -0.58 -1.676 1.052 1.266 ...

> $ 5: num [1:752] -0.6468 0.1731 0.5788 -0.0584 0.8479 ...# number of rows of your data.frame (from your example... )

nrows <- 20752



# acceptable range for sub-data.frame size

subSetSizes <- 4000:10000



remainders <- nrows %% subSetSizes 

minIndexes <- which(remainders == min(remainders))

chunckSizesHavingMinRemainder <- subSetSizes[minIndexes]



# > chunckSizesHavingMinRemainder

# [1] 5188



# the remainder of 20752 / 5188 is indeed 0 (the only minimum)

# nrows %% 5188 

# > [1] 0

相关推荐

  • Spring部署设置openshift

    Springdeploymentsettingsopenshift我有一个问题让我抓狂了三天。我根据OpenShift帐户上的教程部署了spring-eap6-quickstart代码。我已配置调试选项,并且已将Eclipse工作区与OpehShift服务器同步-服务器上的一切工作正常,但在Eclipse中出现无法消除的错误。我有这个错误:cvc-complex-type.2.4.a:Invali…
    2025-04-161
  • 检查Java中正则表达式中模式的第n次出现

    CheckfornthoccurrenceofpatterninregularexpressioninJava本问题已经有最佳答案,请猛点这里访问。我想使用Java正则表达式检查输入字符串中特定模式的第n次出现。你能建议怎么做吗?这应该可以工作:MatchResultfindNthOccurance(intn,Patternp,CharSequencesrc){Matcherm=p.matcher…
    2025-04-161
  • 如何让 JTable 停留在已编辑的单元格上

    HowtohaveJTablestayingontheeditedcell如果有人编辑JTable的单元格内容并按Enter,则内容会被修改并且表格选择会移动到下一行。是否可以禁止JTable在单元格编辑后转到下一行?原因是我的程序使用ListSelectionListener在单元格选择上同步了其他一些小部件,并且我不想在编辑当前单元格后选择下一行。Enter的默认绑定是名为selectNext…
    2025-04-161
  • Weblogic 12c 部署

    Weblogic12cdeploy我正在尝试将我的应用程序从Tomcat迁移到Weblogic12.2.1.3.0。我能够毫无错误地部署应用程序,但我遇到了与持久性提供程序相关的运行时错误。这是堆栈跟踪:javax.validation.ValidationException:CalltoTraversableResolver.isReachable()threwanexceptionatorg.…
    2025-04-161
  • Resteasy Content-Type 默认值

    ResteasyContent-Typedefaults我正在使用Resteasy编写一个可以返回JSON和XML的应用程序,但可以选择默认为XML。这是我的方法:@GET@Path("/content")@Produces({MediaType.APPLICATION_XML,MediaType.APPLICATION_JSON})publicStringcontentListRequestXm…
    2025-04-161
  • 代码不会停止运行,在 Java 中

    thecodedoesn'tstoprunning,inJava我正在用Java解决项目Euler中的问题10,即"Thesumoftheprimesbelow10is2+3+5+7=17.Findthesumofalltheprimesbelowtwomillion."我的代码是packageprojecteuler_1;importjava.math.BigInteger;importjava…
    2025-04-161
  • Out of memory java heap space

    Outofmemoryjavaheapspace我正在尝试将大量文件从服务器发送到多个客户端。当我尝试发送大小为700mb的文件时,它显示了"OutOfMemoryjavaheapspace"错误。我正在使用Netbeans7.1.2版本。我还在属性中尝试了VMoption。但仍然发生同样的错误。我认为阅读整个文件存在一些问题。下面的代码最多可用于300mb。请给我一些建议。提前致谢publicc…
    2025-04-161
  • Log4j 记录到共享日志文件

    Log4jLoggingtoaSharedLogFile有没有办法将log4j日志记录事件写入也被其他应用程序写入的日志文件。其他应用程序可以是非Java应用程序。有什么缺点?锁定问题?格式化?Log4j有一个SocketAppender,它将向服务发送事件,您可以自己实现或使用与Log4j捆绑的简单实现。它还支持syslogd和Windows事件日志,这对于尝试将日志输出与来自非Java应用程序…
    2025-04-161