素材牛VIP会员
【新手求救】scrapy:根据xpath爬取爬虫获取的结果为空
 路***过  分类:Python  人气:1494  回帖:3  发布于6年前 收藏

python新手最近在学习scrapy爬取网站,就先找一个网站爬取一些东西

爬取网站为:http://www.acfun.tv/a/ac2643312

我想爬取的内容为评论,就爬取评论作者reviewer 和 评论内容content

可是我print sites的内容发现为空 []
sites = sel.xpath('//div[@id="area-comment-inner"]/div/div')
出现错误 DEBUG: Crawled (200) <GET http://www.acfun.tv/a/ac2643312> (referer: None)

我想请教下各位 xpath 格式是否正确,该怎么样改,谢谢!
还有请求各位给我一些关于学习Python爬虫在方向和方法上一点指引!谢谢各位!

class AcfunSpider(Spider):
    name = "acfun"
    allowed_domains = ["acfun.tv"]
    start_urls = [
        "http://www.acfun.tv/a/ac2643312"
    ]

    def parse(self, response):

        sel = Selector(response)
        sites = sel.xpath('//div[@id="area-comment-inner"]/div/div')
        print sites
        items = []

        for site in sites:
            item = W3SchoolItem()
            reviewer= site.xpath('div[2]/text()').extract()  
            content= site.xpath('div[1]/a/text()').extract()      

            item['reviewer'] = [r.encode('utf-8') for r in reviewer]
            item['content'] = [c.encode('utf-8') for c in content]
            items.append(item)

            log.msg("Appending item...",level='INFO')

        log.msg("Append done.",level='INFO')
        return items
        
    
    

通过Firefox的xpath checker检验抓取的内容发现xpath也没问题,是正确
的,但是为什么不对呢??

讨论这个帖子(3)垃圾回帖将一律封号处理……

Lv5 码农
qi***pu 交互设计师 6年前#1

有人回答吗?

Lv4 码徒
小***学 软件测试工程师 6年前#2

出现错误 DEBUG: Crawled (200) <GET http://www.acfun.tv/a/ac2643312> (referer: None)
这不是错误,是调试信息。。。

Lv5 码农
转***鬼 职业无 6年前#3

评论里面的有些html不规则导致的,往它们的父类找吧,找到一个所有评论html都有的节点,然后用正则匹配取出来吧,18条数据中第一条没有就是那个text()匹配不到,别急着text()就取数据了

 文明上网,理性发言!   😉 阿里云幸运券,戳我领取