我爬了价值1800亿的商品信息

写在前面的话

好久没来了，今天来聊聊个有意思的吧，这些天由于一些原因，自己撸了个爬虫框架，因为要测试一下效果，于是到处爬东西，爬了不少有意思的数据，后面也会说一些别的数据，那天，连爬了四天绿中介的网站，说句实在的，绿中介反爬做得还行，阵亡好多代理ip，而且有些个代理还没用就已经被封了，当然，对于这种不需要登录的网站，我一般是疯狂上，疯狂爬，没什么爬取策略，就是拿ip疯狂上，要是注意一下频率，应该也不会封我了。

这个爬虫框架后续完整了以后再写写吧，基本上就是golang调度框架+其他任何语言爬取，我用过python爬绿中介，用过phantomjs爬一些比较难搞的网站，用过chrome插件和golang框架通讯爬那些非常难搞的网站，还可以用手机和框架通讯来爬手机站，不过这个还没尝试。框架自带搜索引擎，消息队列，代理池和爬取进程，可以随便加机器增加爬取的进程数量，好了，这个不是今天的重点。

下面我们来聊聊爬到绿中介的北京房屋数据以后能有一些什么有意思的事情。

整体情况

对于绿中介的爬取，我主要爬的是列表的页面，没有进一步爬取详情页面了，主要信息基本上都有了，首先，绿中介真是牛逼，掌管的商品SKU只有区区20000多个，但是价值确将近1800亿，如果是电商的话，绝壁是目前最牛逼的电商了，如果按照2.5%的中介费算的话，房子都卖出去的话，中介费就有45亿啊！！而且现在的房子，一般情况挂出没几个月就卖了。那中介费只可能比这还要高，还有，这还仅仅是北京哦。。难怪PHP大神鸟哥要去绿中介做CTO，这账算下来，完全不差钱啊，妥妥的BATL的节奏。

我拿的3月16号的数据来分析一下，那天爬到了26000多的信息，比链家显示的房源要少一点，因为有些地方（比如燕郊）超过100页了，爬不全，不过不影响，分析下来：

总金额 : 1755 亿元
均价 : 6.69 万元/平米
平均面积 : 101.94 平米
最大面积 : 1531 平米
最贵房子 : 1.5 亿元
最老房龄 : 1950 年

恩，均价6.7万，这是包括燕郊这样的非北京哦，而且燕郊房子很多的，除掉燕郊的话，均价应该还要更高。

注意哦，这个均价是3月16的，在3月11号，均价还是6.54，3月17的时候均价已经是6.71了，虽然说每天的数据有差异，但是均价这个东西应该变化不大，如果均价持平的话至少应该有上有下吧，但我抓的几天数据，均价算下来一直在往上涨。

关于总价和首付

首先我们来看看最贵的地区吧，这个地区不是小区啊，是一个比小区更大的范围，比如宇宙中心五道口就算一个地区，在这些地区中，西山，颐和园，万柳这三个地区总价平均已经上了2000万了，当然，这里都是豪宅，又大又贵，不是看这篇文章的人能买的。

总价排名靠前的36个地区都上了1000万，他们是西山 颐和园 万柳 朝阳公园 官园 世纪城 金融街 CBD 东花市 西单 奥林匹克公园 西北旺 中央别墅区 太阳宫 右安门内 亚运村小营 三元桥 金宝街 四季青 三里屯 六铺炕 东直门 交道口 建国门内 陶然亭 德胜门 宣武门 工体 木樨地 紫竹桥 西四 白石桥 欢乐谷 知春路 阜成门 月坛，这些地方有些是面积大，比如别墅区，更多的是单价高，比如城内的学区房，不管怎样，都上了1000万了，那北京一共有多少个地区呢？链家上一共有200多个地区。也就是说超过15%的地区总价都上1000万了，排名最靠后的月坛是1002万，你要是随便找一个月坛的房子瞧瞧，90平，1300万的到处都是。

宇宙中心五道口不在这前36名里面，那么她排多少呢？宇宙中心五道口排60名，均价876万，宇宙副中心回龙观排160名，均价548万，呵呵。

然后我们来看看首付，如果你只准备了100万首付，第一套房子的话，首付35%，那么恭喜你，你只能在昌平南口，密云城区以外，平谷城区以外这三个地方买房子了，连燕郊的平均首付都到102万了。好吧，再加点，120万首付可以到首都机场，房山的良乡买了，再加点，140万可以到石景山古城了，快到五环了，再加点，160万可以去卢沟桥接受爱国主义教育了，180万可以去通州其他地方了，注意啊，是通州其他，就是你没怎么听说过的通州地区，200万，好，你可以在回龙观，西三旗，天通苑考虑了，这里有个特殊点的地方，就是团结湖，目前团结湖的话，基本上200万首付也可以买了，因为虽然靠城里，但是面积都不大，所以总价都不算高（其实也5，600万了），你现在兜里揣了多少钱准备上车？200万以内能在哪里上车，心里有谱了吧。

基本上正常来说，200万做为首付，基本进不了五环，当然，你要是买个特别小的房子除外。

关于热度

关于热度，我们首先来看看收藏最多的房源，其实我觉得收藏最多的不见得是最热的，但是至少表示了用链家APP或者上链家网找房子的人的心理价位，大多数都是能买得起什么房子的人在用APP查房子，土豪们一般不会用APP的，或者用的话也就是随便搜一下看看房子，就直接杀过去拍钱了，所以收藏这个指标应该能体现那些是上车还是不上之间徘徊的人的心理价位的房子，收藏数量还有个时效性，因为一般房子挂出来没多长时间就卖了，所以直接看某个房子的收藏量含义不大，那些单个房源收藏排前面的一般都挂出来好长时间没有成交了，比如收藏排第一的那个房子，丰台地区的，900多的收藏量，500多万，位置，价格都很正常，挂了一年了，没卖出去，估计有硬伤。

我们看看收藏排前的地区吧，如下面这个图，纵坐标是该地区的房子的均价

这里基本上能看出来，在链家上刷刷刷的基本上都是换房子的居多，看看收藏前面的地区，基本上都是城里面的学区房居多，当然中间也出现了像沙河，东坝，定福庄，窦店这样的明显是买第一套房子的地区，豪宅（是真豪宅，不是学区房的老破小）地区几乎没有，所以说基本上在链家上看房子还是中产阶级居多，换房的居多，第一套房的可选择性没那么高，刚刚说了200万首付能买哪里，基本上大家都清楚，都直接跑那里去看了。

除了收藏，还有一个指标是带看，就是房子被中介带去看了多少次，带看这个指标也能部分显示房子的热度，如果按照地区来看的话，带看前十的地区分别是，纵坐标是该地区的房子的均价

如果说收藏主要集中在东城西城这种学区还有就是外围的东坝沙河这样的地区的话，那么带看的排名就到处都有了，没有什么特别集中的区域了，而且带看的地方感觉比收藏的地方要便宜一点点，毕竟真的去看了还是会选个稍微便宜的地方吧。

关于涨幅

抓了不止一天的数据，对于涨价这个事情，我统计下来，每天都在涨，如果按照地区来分的话，平均涨幅最高的几个地区是，统计的方法是先把两天同一个房子的价格相减，然后把这些房子按照地区归类，最后把总共涨的价钱除以这个地区的所有房子数量（包括没涨价的房子）

金宝街 >>> 6.25
菜户营 >>> 5.37
甘家口 >>> 3.80
冯村 >>> 3.8
窦店 >>> 3.6
学院路 >>> 3.09

这些地区的总价一天的平均涨幅都超过3万了，如果看4天的涨幅的话。

金宝街 >>> 18.75
地安门 >>> 13.33
小西天 >>> 9.56
三里屯 >>> 9.25
世纪城 >>> 8.15
沙河 >>> 6.95
菜户营 >>> 6.64
丽泽 >>> 6.0
军博 >>> 5.88
中关村 >>> 5.21
窦店 >>> 5.2
魏公村 >>> 5.0

呵呵，虽然是总价的涨幅，但是想想窦店那地方，4天平均涨了5万，沙河4天涨了7万，还是挺吓人的了，那有没有降价的地区呢？呵呵，也有，不过降幅就呵呵了。

奥林匹克公园 >>> -0.27
安宁庄 >>> -0.30
黄村火车站 >>> -0.53
宋家庄 >>> -1.03
大山子 >>> -1.17

再来看一些奇葩的

单价

首先说每平米单价，其实对于北京的房子来说，每平米单价已经没有意义了，在链家的房子，单价都限定了不能超过15万每平米，所以你看到的最贵的单价也就是14.999，但是实际上你真的去看的时候应该不是这个价格了，关于单价最高的地方，我们随便看一看，排名前20的小区，单价都达到上限15万了，基本上都是城内的老破小居多，这个三里河北街出现了好几次，至于为啥，大家可以自行搜索一下附近的学校。

小区	单价(元)
三里河北街3号院	149946.0
小石桥胡同3号院	149929.0
砖塔胡同86号院	149922.0
中信禧园	149907.0
太阳公元	149851.0
大菊胡同	149849.0
四合上院	149838.0
京畿道	149834.0
三里河北街2号院	149790.0
新外大街28号院	149779.0
老墙根38号院	149754.0
仓南胡同14号院	149715.0
前门西大街	149714.0
富国街	149654.0
香山塔后身	149558.0
真武庙三里	149485.0
百万庄1号院	149451.0
华采嘉园	149378.0
三里河一区3号院	149290.0
新文化街四合院	149057.0

面积

既然单价没啥可说的，我们看看房子的面积，如果把车位去掉的话，在昌平的沙河有个小区叫北街家园五区，那里有好多18平米到20平米的房子，是商业地产，呵呵，我就想问问，18平米的房子做办公室用？呵呵呵呵哒，12梯24户，恩，如果我没理解错的话，那一层就是24户，他的核心卖点是适合白领，学生和刚来北京打工的人士居住，60万左右，已经算是总价和单价都很低的了，不过不是住宅，是商业住房，它的户型长这样。

里面长这样

这是便宜的，另外在惠新西街那里有个房子，也是17平米，但是需要200多万，每平米快14万，但还没到上限15万，但是这里是住宅哦，而且有学校哦，这房子长这样

小房子也有更高价，达到15万系统上限的房子也有不少，比如崇文门那附近就有27平米，408万的，已经达到14999了，呵呵。

广安门那里有个荣丰2008，里面也都是20来平米的房子，每平米价格却都是14万以上了。

当然，你以为小单价越高那就错了，上面单价排序那里有个香山塔后身的小区，其实那不是小区，里面就一栋房子，我个人觉得那房子卖一亿不算贵了。当然，很多别墅买卖估计也没挂在链家网上。

年龄

除了单价和面积，我们来看看房子的芳龄，北京二手房跨度大，最老的房子基本和共和国同岁了，1950年建造的。

在一个叫大菊胡同的地方，有个1956年的房子，单价15万，我觉得这应该算文物吧，这种和共和国同一个时代的房子，还有10年就满70年了，是不是不能走贷款呢？

关于70年这个事可能是我想多了，毕竟，在六铺炕那里有个房子，1950年的房子，也是单价15万了，但是它面积大啊，总价1100万，1100万买个比自己父亲年龄还大的房子，还有3年就满70年了，这房子绝对不可能贷款买，哪个银行会给一个建造了快70年的房子放贷款呢。。。

好吧，说了不少了，由于抓得数据并不是很多，随便搞了搞也就这么些东西了，我们看到，后面这些的奇葩的房子，其实都和学校有关，基本上都是学区房，北京现在的房价很多是被学区房给拉上去了，花上千万刷学区房真的用来上学的是什么人呢？我估计还是老百姓居多，不过他们的钱更多或者他们买房早，现在换房子压力没有那么大，但他们还是老百姓，因为毕竟我们大家都知道，有些人，要让孩子上好学校靠刷脸就行了，不用刷房子，他们不用买学区房。

好了，下周专心爬一下SF，不要封我啊啊啊啊。。。

---

如果你觉得不错，欢迎转发给更多人看到，也欢迎关注我的公众号，主要聊聊搜索，推荐，广告技术，还有瞎扯。。文章会在这里首先发出来：）扫描或者搜索微信号XJJ267或者搜索西加加语言就行