【easy52pojie】一款方便看吾爱论坛帖子的爬虫程序

Eilliem

【easy52pojie】一款方便看吾爱论坛帖子的爬虫程序

众所周知论坛一页最多显示十来条回帖，且间隔很大，每页的信息密度太低了。在帖子很庞大的情况下，一页一页翻页，着实有点痛苦。

故简单敲敲代码，使用request xpath技术做了一个论坛帖子回复查看器，名称为easy52pojie，运行代码即可导出该帖子的全部回复，有回复人昵称、回复时间、回帖内容等。喜欢请记得回复~

使用说明：

1、在main函数里填入帖子url；

2、在main函数里填入自己的cookie；

3、运行代码。

源码地址：https://wwi.lanzoup.com/id6801rapcyf

easy52pojie.zip (1.84 KB, 下载次数: 1)

2024-3-14 19:09 上传

点击文件名下载附件
富哥通道

sihehe

sai609 发表于 2024-3-14 21:41
把52pj更换为baidu贴吧or豆瓣or新浪微博的官方网址，也能实现上述效果吗？

[Python] 纯文本查看 复制代码

   # 定位文章标题
        title = page_html.xpath("//td[@class='plc ptm pbn vwthd']//h1//span")[0].text
        # 定位回帖用户姓名
        send_usernames = [''.join(element.itertext()).strip() for element in page_html.xpath(
            "//div[@id='postlist']//div//table//tr//td[@class='pls']//div//div[@class='pi']//a")]
        # 定位回帖内容
        send_contents = [''.join(element.itertext()).strip() for element in page_html.xpath(
            "//div[@id='postlist']//div//table//tr//td[@class='plc']//div[@class='pct']//div//div//table//tr//td")]
        # 定位回帖楼层
        send_tags = [''.join(element.itertext()).strip() for element in page_html.xpath(
            "//div[@id='postlist']//div//table//tr//td[@class='plc']//div[@class='pi']//strong")]
        # 定位回帖时间
        send_timesets = [''.join(element.itertext()).strip().replace("发表于 ", "") for element in page_html.xpath(
            "//div[@id='postlist']//div//table//tr//td[@class='plc']//div[@class='pi']//div//div[@class='authi']//em")]

看代码 是不行的,代码硬写网站的html标签解析正则,换其他网站,或者网站的前端页做了更新,就不适用了

老婆是加藤惠

哈哈哈哈，很有意思的工具

aliku

有点意思 ,哈哈哈哈哈

sai609

把52pj更换为baidu贴吧or豆瓣or新浪微博的官方网址，也能实现上述效果吗？

basakasky

sai609 发表于 2024-3-14 21:41
把52pj更换为baidu贴吧or豆瓣or新浪微博的官方网址，也能实现上述效果吗？

看论坛的样子应该是Discuz，理论上只要是Discuz的都可以

szhwell

这也是逆向。。。

jsndbbhb3

看着不错

leedada

感觉也不是很方便hhhh

fan19900404

如果是这个需求的话，好像直接用油猴，重置一下页面的样式，隐藏掉各种不用的信息就能了吧。

joyup

学习学习，谢谢分享