代码质量控制 常规三板斧：静态检查 代码review 单元测试 静态检查，之前写过工具sonar，以及操作流程。这次纪录下reivew与单元测试。 单元测试 得到更易于测试的代码并且帮助设计，改的动代码，能快速验证。单纯追求覆盖率不是关键。 见过实施tdd atdd流于形式，为了保证覆盖率，欺骗性的各种手段通过，简直没法看。 让...

spark整个api上手较为简单，scala表达起来比较顺畅，java根据spark官方文档，理解scala的几个特性即可。 spark离线处理优化 目的减少无效操作，io cpu的有效利用，直接查优化技巧，不如先搞明白spark处理过程。明白以下再对应代码可以解决很多问题。 DAG图对应代码 明白过程 stages tasks对应实现层 shuff过程，如何减少...

business-service：业务角度微服务的组合。通常来说无数据库，只做数据转换合并。为业务提供展现，更粗力度的，在这组合性能更好。目前根据web顶级tab分类来决定项目构建。

尽管这种方式是好的在简单的用例像这个，他有一些潜在的缺点：代码和数据时混合的，但是不容易独立改变数据不容易自动生成或者获取从外部源顺序实施相同的代码多次，它或者已经被复制或者被提取到到一个分离的方法在失败的用例中，不能立刻清理失败引起的输入实施相同的代码多次不利于从相同的隔离，作为执行分离方法方...

这一章假设你有关于groovy与单元测试基本知识。如果你是java开发者，但没听说过groovy，别担心，groovy对java开发者来说非常友好。事实上，groovy相关抓哟设计目标是与java共存脚本语言。因此只需要继续并查看groovy doc

redis集群环境 生产者有多个 消费者有多个 两边随时可增加 redis上消息只会被一个消费者消费，不会有多个订阅者消费同一个消息，简单一对一 解决： 消费者崩溃问题：RPOPLPUSH保证不会由于程序问题导致消息不丢失。那么这部分中间状态数据如何处理。考虑集群copy到目标队列名称需要根据消费者程序部署unique名，可结合zk...

范围 开发人员-dev的对代码质量的保证方式，进行的代码级别验证或者方法论驱动写出质量能达到要求的代码，非测试人员范围内的测试。 概念区分 单元测试 单元测试只测试程序单元自身的功能 集成测试 将所有模块按照概要设计要求组装成为子系统或系统，验证组装后功能以及模块间接口是否正确的测试工作 tdd：方法论：写代...

review 目标 提升代码质量，增加交流与技能提升，带动整个团队技术氛围 时间比例 刚开始做可能花费时间多点，一两个迭代后这个应该进入正常占比不超过十分之一 分类 静态检查 具体人力参与较少，更多使用sonar工具来做，内置积累700多个代码规则，并且可以自己扩展，把知识转换为规则来扫描代码 动态检查 具体开发功能负...

proxy可以提供一个类似mysql的协议，透明进行。360的proxy，mycat，oneproxy都可以实现类似效果。客户端从连接数的损耗来讲，不具备优势。算法无论怎么写，都存在分散资源，无法统一管理的效果，站在资源利用率角度，proxy可以统一管理所有链接，更优，并且由于本身透明，应用层复杂度降低。