如何用爬虫爬去整个网站_Node.js_论坛

如何用爬虫爬去整个网站

de***22 分类：Node.js 人气：892 回帖：2 发布于6年前收藏

如题，如果我要爬取一个仅仅只是提供文档说明的网站，但它经常不稳定，所以我想把它整站下载下来方便以后查看。（注：希望提供下思路和方法，就是想顺便学习下）

Lv5 码农

许***焱 Web前端工程师 6年前#1

wget -r -p -np -k http://example.com/index.html

-r 递归
-p 下载页面相关的其它内容
-np 不追溯至父级
-k 页面内链接转换为相对链接

Lv5 码农

lo***ge 其它 6年前#2

直接用浏览器离线模式吧，没有必要写爬虫

文明上网，理性发言！ 😉 阿里云幸运券，戳我领取