弱弱的推荐一下 php 的 goutte

1. 有较好地html获取和解析支持。
2. 有较好地并行控制。
3. 方便处理异步任务。
4. 容易开发DSL。（假如你需要用户自定义抓取路径的话。）

以前写过好几个版本的爬虫，供参考。http://niejason.sinaapp.com/?p=66

啥都不说，肯定是python

用python吧，你会发现有很多优点。。。

我觉得不是说选择哪个语言，主要是看开发者对哪个语言最熟悉。

推荐Python。有requests等类库。
也有scrapy这样的框架。

每个语言都可以，基本的爬虫只要涉及到一些HTTP请求和文档解析就能做出来。
Python有Scrapy等框架，上手比较快，可以研究一下。

参考

C/C++ 网络爬虫

Perl
竟然没人推荐..

snoopy类库很久以前用过，不过感觉不是很好用。功能一般。
其实爬虫最网页请求那一块比较容易实现，也没有什么好说的。其实最主要是对请求回来的数据处理，分析。
所以我觉得用node.js会是很好的选择。

看看那位童鞋推荐下node.js有什么好的库。