素材牛VIP会员
python网页爬虫的多线程
 隔***王  分类:Python  人气:719  回帖:4  发布于5年前 收藏

python3.4用threading模块做多线程并发式的爬虫,开始启动十个线程都是好的,爬到最后的时候只剩下主线程存活。也就是爬到后面的时候只有一个线程活动。中间会有异常存在,捕获了并且抛出了异常,这些异常是否会导致子线程锁死?如果会,怎么解决线程在锁死的情况下重启继续执行。还有就是有哪些原因会导致最后只剩下一个线程活动?

 标签:网页爬虫python

讨论这个帖子(4)垃圾回帖将一律封号处理……

Lv6 码匠
赵***2 Web前端工程师 5年前#1

是不是一些共享资源的锁的问题

Lv6 码匠
阿***6 Linux系统工程师 5年前#2

你看一下卡在哪里了,你这么点信息,别人也帮不到你

Lv6 码匠
15***57 UI设计师 5年前#3

建议你找一些开源的爬虫程序参考下

Lv3 码奴
踏***e Web前端工程师 5年前#4

话说我也遇到了这个问题,最后爬的特别慢,应该是只剩一个了

 文明上网,理性发言!   😉 阿里云幸运券,戳我领取