segmentfaultsegmentfault
注册登录
问答专栏标签招聘活动
发现
✓使用“Bing”搜本站使用“Google”搜本站使用“百度”搜本站站内搜索
注册登录
  1. 首页
  2. 问答
  3. 101 新手上路
  4. 问答详情

dolphidb关于大批量的处理

头像
Sun King 🌞
    38713
    发布于
    2021-03-26

    单机服务器集群256G的内存
    现在加载数据,大概1天3亿条数据,总共一年数据
    加载到内存中
    ERROR OUT OF MEMORY,应该做什么处理

    批量插入大数据处理分布式文件系统dolphindb物联网
    回复
    阅读 1.2k
    1 个回答
    得票最新
    头像
    countdown
      1
      发布于
      2021-04-29
      新手上路,请多包涵

      这个应该是旧版本的bug,我们在使用1.30.5之前版本的时候也出现了,升级为1.30.6版本后未出现。官方文档中也有这个OOM的bug fix描述

      回复
      查看全部 1 个回答
      推荐问题
      • Java大数据快速精确匹配?
        从一个存储介质(可以是List,Map,redis,DB)里面有约20万-50万行左右的记录(可以理解为每行1个词),现在需要从一句话中快速匹配这句话中是否有词库记录。

        2 回答830 阅读✓ 已解决

      • ESP32怎么控制220v电的开关?
        有没有老哥玩过ESP

        1 回答434 阅读

      • Django批量插入bulk_create超大数据量上限如何设计?
        语法:bulk_create(objs, batch_size=None, ignore_conflicts=False)batch_size参数控制在单个查询中创建的对象数,默认情况是一次数据库连接将所有创建动作完成,但这在要创建的对象数量和字段数量非常巨大的时候往往是不行的,比如SQLite3一次只允许最多999个变量。batch_size参数的作用其实就类似文件的分块读写,参...

        142 阅读

      logo
      101 新手上路
      子站问答
      宣传栏
      1178
      产品
      热门问答
      热门专栏
      热门课程
      最新活动
      翻译
      酷工作
      课程
      Java 开发课程
      PHP 开发课程
      Python 开发课程
      前端开发课程
      移动开发课程
      资源
      每周精选
      用户排行榜
      帮助中心
      建议反馈
      合作
      关于我们
      广告投放
      职位发布
      讲师招募
      联系我们
      合作伙伴
      关注
      产品技术日志
      社区运营日志
      市场运营日志
      团队日志
      社区访谈
      条款
      服务协议
      隐私政策
      下载 App

      Copyright © 2011-2023 SegmentFault. 当前呈现版本 23.02.02

      浙ICP备15005796号-2浙公网安备33010602002000号ICP 经营许可 浙B2-20201554

      杭州堆栈科技有限公司版权所有