golang写分布式爬虫

Question

自己写写练手，用golang写的，已经本机实现了单线程和多线程爬虫，当然，写爬虫最终肯定要写分布式才可以。可是我对分布式概念很模糊，不知道如何下手才好，不想找框架来写，只是想大体跟思路走就可以。

希望求得一个好的解决方案。

现在的有个想法是我可以设置一个master和多个slave。master只负责分配任务，slave负责爬虫，slave将master分配过来的任务爬一次，然后将获得的url再返回给master。这样就需要master起一个server。slave如果没有任务就需要不停的向master请求任务。url去重等任务都在master处理。

只是自己YY，希望推荐一个好的解决思路。

Answer 1

https://github.com/henrylee2cn/pholcus
不谢