SparkStream运行30分钟后就出现了任务堵塞,现在的任务一直在卡(没有报错),后面的任务一直在排队。
Spark on yarn 内存都足够。
读取Kafka数据成List[Put]然后解析写入Hbase
Hbase操作:
val hbaseConf = new JobConf(hbaseConnector, this.getClass)
val conn = ConnectionFactory.createConnection(hbaseConf)
val table = conn.getTable(TableName.valueOf(tablename))
def saveListPut(rows: util.ArrayList[Put]) = {
val list = new util.ArrayList[Put]()
table.put(rows)
table.close()
}
从hbase存取后没有将table和connection关闭。