码农咖啡馆

一个段子来解释数据挖掘

2shou 2016-03-13 发布
1 收藏

话说这齐天大圣孙悟空大闹天宫，玉帝派二郎神杨戬去镇压，兵力占尽优势却屡次不胜。问题就在孙猴子有一招十分厉害的分身术，拔一把毫毛一吹一变，地上就冒出成千上万只一模一样的猴子，每次大费周章抓回的都是假...

程序员你为什么这么忙？

2shou 2016-01-24 发布
2 收藏

去年中2shou经历了一次跳槽，重新回到了一线执行者的角色；新的岗位每天都要应对四面八方的需求，不时有火烧眉毛手忙脚乱的时候，往往在聊天工具、邮件、终端、IDE和报表多个窗口之间切换一个来回，就忘了刚开始...

非典型的千万用户后台之路

2shou 2015-12-27 发布
91 收藏

三年前，原本我只是个不学无术的数据小码农，空有一腔热情；而当时公司也处在艰难的转型期，旧产品不见起色，新产品前途未卜。想见着也不可能用这么小的数据玩出花来，而新产品的数据也不是一时半会能成规模。还...

4个小例子告诉你：如何成为一名数据极客

2shou 2015-12-12 发布
3 收藏

对于数据岗位的员工，互联网公司颇有些不同的称谓，像统计工程师、大数据工程师、数据分析师、算法工程师、数据科学家等，每一种之间的技能差距简直是风马牛不相及。但我觉得，数据岗位的需求千变万化，真正能通...

Python绘制精美图表之双柱形图

2shou 2015-12-06 发布
18 收藏

图表是比干巴巴的表格更直观的表达，简洁、有力。工作中经常遇到的场景是，有一些数值需要定时的监控，比如服务器的连接数、活跃用户数、点击某个按钮的人数，并且通过邮件或者网页展示出来。当我们想关注比数值...

馆中窥职：小公司没那么糟糕

2shou 2015-12-05 发布
1 收藏

我的职业生涯就是和一般程序员反着来的。一毕业就在握有几家大公司offer的情况下被忽悠进了一家不到30人的初创公司，从代码基础几乎为0起步，一步步成为开发团队的骨干，也眼见着公司由黑暗中摸索、碰壁、重新探...

卡方检验原理及应用

2shou 2015-09-08 发布
40 收藏

卡方检验，或称x2检验，被誉为二十世纪科学技术所有分支中的20大发明之一，它的发明者卡尔·皮尔逊是一位历史上罕见的百科全书式的学者，研究领域涵盖了生物、历史、宗教、哲学、法律。之前做文本分类项目用过卡方...

为ElasticSearch添加HTTP基本认证

2shou 2015-05-28 发布
14 收藏

ES的HTTP连接没有提供任何的权限控制措施，一旦部署在公共网络就容易有数据泄露的风险，尤其是加上类似elasticsearch-head这样友好的前端界面，简直让你的数据瞬间裸奔在黑客的眼皮底下。项目上线前做十万伏特的...

通过HBase Observer同步数据到ElasticSearch

2shou 2015-04-23 发布
8 收藏

HBase是一个分布式的存储体系，数据按照RowKey分成不同的Region，再分配给RegionServer管理。但是RegionServer只承担了存储的功能，如果Region能拥有一部分的计算能力，从而实现一个HBase框架上的MapReduce，那HB...

ElasticSearch的部署、同步与调优

2shou 2015-04-04 发布
32 收藏

ElasticSearch是一个强大的搜索服务器，基于Apache Lucene的全文搜索引擎开发，具有高性能、分布式和零配置的优点。在当前的项目中，我们希望ES能承担亿级文档的搜索，而ES也证明了即便面对这样的数据规模，也能...

Spark DataFrame小试牛刀

2shou 2015-03-23 发布
12 收藏

三月中旬，Spark发布了最新的1.3.0版本，其中最重要的变化，便是DataFrame这个API的推出。DataFrame让Spark具备了处理大规模结构化数据的能力，在比原有的RDD转化方式易用的前提下，计算性能更还快了两倍。这一个...

为什么Spark将成为数据科学家的统一平台

2shou 2015-03-22 发布
13 收藏

数据科学是一个广阔的领域。我自认是一个数据科学家，但和另外一批数据科学家又有很多的不同。数据科学家通常分为统计科学家和数据工程师两个阵营，而我正处于第二阵营。统计科学家使用交互式的统计工具（比如R...

逻辑回归碎碎念

2shou 2015-03-12 发布
4 收藏

逻辑回归（Logistic-Regression）是数据挖掘领域的一种基本的回归和分类算法。很长的一段时间里我对逻辑回归的理解仅限于「有逻辑的回归」。直到有次面试一个实习生，跟他聊起正在做的热门电台排行榜，需要把各个...

理想的程序员

2shou 2015-03-02 发布
20 收藏

我算是靠坑蒙拐骗进了程序员的门，然后一路狂奔。26岁之前几乎没有任何写代码的经验，研究生毕业却意外选择了一家不可能提供培训的初创公司，在每日担忧公司倒闭、害怕被炒鱿鱼以及同事冷落白眼的三重压力下逆流...

Tornado按天打印日志

2shou 2015-02-01 发布
11 收藏

网站流量上来后，日志按天甚至小时存储更方便查看和管理，而Python的logging模块也提供了TimedRotatingFileHandler来支持以不同的时间维度归档日志。然而根据Logging HOWTO的官方指南设置后，却发现新的日志只剩...

什么是好的推荐系统

2shou 2015-01-29 发布
15 收藏

我一直自诩是「菜刀流」的工程师，作为一个数据挖掘的门外汉，竟也操刀过三个推荐系统的项目了。这三个推荐系统，用户群不同，业务场景不同，连地域和文化也有些差别。所以近来总在琢磨，推荐系统的缘起千人千面...

Python利用Phantomjs抓取渲染JS后的网页

2shou 2015-01-19 发布
44 收藏

简单试用了一下，感觉pyspider更像一个为新手打造的爬虫工具，好比一个老妈子，有时无微不至，有时喋喋不休。轻巧的小工具应该更受人喜爱，我也怀着一点私心，可以带着我最爱的BeautifulSoup一块儿用，而不用再...

Hive的Python异步客户端

2shou 2015-01-16 发布
3 收藏

最近在做一个面向Hive的查询服务，主程序是Python写的。 Hive的查询时间通常都要在1分钟以上，让用户等待不太友好，因此我们想到了用HiveServer2的异步接口，第一时间给用户返回，下次用户再访问的时候，利用密钥...

Impala的神奇指令「COMPUTE STATS」

2shou 2015-01-16 发布
6 收藏

项目迭代中用Impala逐步替换原有的Hive作为查询组件，速度有了脱胎换骨的飞跃。但在把原先按列存储的表转换成两个按行存储的表之后，联表查询的表现不那么给力了（原先对Hive的十倍速度优势变成了两倍）。考虑到...