golang写分布式爬虫

自己写写练手,用golang写的,已经本机实现了单线程和多线程爬虫,当然,写爬虫最终肯定要写分布式才可以。可是我对分布式概念很模糊,不知道如何下手才好,不想找框架来写,只是想大体跟思路走就可以。

希望求得一个好的解决方案。

现在的有个想法是我可以设置一个master和多个slave。master只负责分配任务,slave负责爬虫,slave将master分配过来的任务爬一次,然后将获得的url再返回给master。这样就需要master起一个server。slave如果没有任务就需要不停的向master请求任务。url去重等任务都在master处理。

只是自己YY,希望推荐一个好的解决思路。

查看回复