温暖棒球

文章
6
资源
0
加入时间
2年10月21天
Spark Streaming如何使用checkpoint容错

Spark Streaming如何使用checkpoint容错

最近在做一个实时流计算的项目，采用的是Spark Steaming，主要是对接Spark方便，一个 Streaming Application 往往需要7*24不间断的跑，所以需要有抵御意外的能力（比如机器或者系统挂掉，JVM crash等）。为了让这成为可能，Spark Streaming需要 checkpoint 足够多信息至一个具有容错设计的存储系统才能让 Application 从失败中恢...
SPARK 2024-01-29
常用API之DateFormat

常用API之DateFormat

常用API之DateFormatjava.text.DateFormat能够用于格式转换，是日期/时间格式化的【抽象】类，其子类（如 SimpleDateFormat）允许进行格式化（也就是日期 -> 文本）、解析（文本-> 日期）和标准化。DateFormat成员方法：String format(Date date)：将一个 Date 格式化为日期/时间字符串Date par...
Java-basic 2023-11-26
背包问题及其变型(python)

背包问题及其变型(python)

1. 0，1问题一个背包，往里装东西，重量w(weight)分别为为[2,3,4,5] 价值v(value)对应为[3,4,5,6] 如果你的容量为8,每个物品只有一个，求你能装入背包的最大价值我们可以一步一步来 ，先创建一个表格(数组), 数组dp[i][j] i代表你只用前i个物体，j代表你的剩余容量，得到一个表格先填第一行(也就是假设现在你只有第一个物体), 首......
数据结构与算法 2023-11-08
用gcc 的-D 参数来调试代码

用gcc 的-D 参数来调试代码

写代码免不了要加入调试信息，在程序头定义一个DEUBG开关很烦，不过gcc早就想到了，有-D选项。man gcc或者man gcc | col -b > gcc.txt相关信息如下：GCC(1)                               GNU                               GCC(1)NAME       gcc - GNU project C a
gcc 2023-05-17
数组的forEach()和jquery的each()

数组的forEach()和jquery的each()

//数组的forEach()//内部的this指向windowvar arr=[];arr.forEach(function(val,index){});//jquery的each()//内部的this指向遍历的每一个值$.each(arr,function(index,val){});$.each(obj,function(key,val){});$(arr).each(functi
javascript 2023-04-03

他的专栏

RedHat/Centos（0）
打印外设（1）
javascript（1）
gcc（1）
数据结构与算法（1）
Java-basic（1）
SPARK（1）

他的归档

2024年01月（1）
2023年11月（2）
2023年05月（1）
2023年04月（1）
2022年04月（1）

热门文章

1
关闭HP M1536一体机传真报告的详细教程
2
数组的forEach()和jquery的each()
3
用gcc 的-D 参数来调试代码
4
背包问题及其变型(python)
5
常用API之DateFormat
6
Spark Streaming如何使用checkpoint容错