V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  qqq8724  ›  全部回复第 9 页 / 共 11 页
回复总数  205
1  2  3  4  5  6  7  8  9  10 ... 11  
@kex0916 感谢回答 因为这个重跑太费时间和空间了 所以尽量不重跑 年后我重跑试试吧
@kex0916 我没有加那个参数 日志输出我设置 WARN
最后一条是 java.io.IOException: Broken pipe
其他:
19/02/02 02:04:25 ERROR scheduler.LiveListenerBus: SparkListenerBus has already stopped! Dropping event SparkListenerBlockUpdated(BlockUpdatedInfo(BlockManagerId(3, zzcywhadoop07, 58138),broadcast_10_piece0,StorageLevel(false, false, false, false, 1),0,0,0))

19/02/01 23:52:28 WARN spark.ExecutorAllocationManager: No stages are running, but numRunningTasks != 0

我找了几个不常见的报错

当时指定 300 个分区 结果也确实是 300 个
[![k8e2H1.png]( https://s2.ax1x.com/2019/02/02/k8e2H1.png)]( https://imgchr.com/i/k8e2H1) 原因都是这个样子的 我是担心它 stage 没跑完 结果量会不会少 最后一句话没太懂
@kex0916
@kex0916 大神求助啊
2019 年 1 月 31 日
回复了 hosealee 创建的主题 宠物 帝都有人想要狗吗?送只狗子
这狗狗在家里会叫吗
@wangfei324017 不想搞对象了
找茬的
只要你手快,你可以在打开的一瞬间,点到我的信息一栏
2018 年 12 月 26 日
回复了 zhuzhezhe 创建的主题 生活 圣诞节了,给大家报个平安
加油!
2018 年 12 月 14 日
回复了 qqq8724 创建的主题 问与答 新手求问,用 spark 怎么读取 hdfs 上 zip 文件和 tar.gz 文件
@kex0916 哈哈,又是你,我上一次问的问题你就回答过,很感谢,你这个方法很有道理,我会试试的
2018 年 12 月 14 日
回复了 qqq8724 创建的主题 问与答 新手求问,用 spark 怎么读取 hdfs 上 zip 文件和 tar.gz 文件
@capric @douglas1997 @luny 感谢你们的回答 这个需求是确实要用到 spark 和 hdfs 的 目前看来#2 的回答很接近,正在分析 :)
2018 年 12 月 7 日
回复了 NoKey 创建的主题 MacBook Pro 屏幕上有指纹,怎么擦掉。。。
作案需要带手套的呀,你这个肯定是没经验
2018 年 11 月 29 日
回复了 zhuzhezhe 创建的主题 生活 23 岁,得了癌症,人生无望
加油啊兄弟,没有过不去的坎
ig nb
2018 年 11 月 9 日
回复了 sun2920989 创建的主题 DNS 北京联通把 www.baidu.com 指向了 127.0.0.1?
是的
你女朋友在找个噱头套你话呢
2018 年 9 月 28 日
回复了 sadhen 创建的主题 程序员 送出几本《Scala 实用指南》
scala 为不同而不同
2018 年 9 月 21 日
回复了 wanwan 创建的主题 问与答 中秋节了,说说你们公司发的什么礼品!
@feifan00x 哈哈 太惨了 还得加班
1  2  3  4  5  6  7  8  9  10 ... 11  
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1115 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 35ms · UTC 23:20 · PVG 07:20 · LAX 15:20 · JFK 18:20
♥ Do have faith in what you're doing.