C#爬虫问题

Longshadow · 发表于 2021-5-28 10:00

506874511 · 发表于 2021-5-28 10:06

python专业爬虫。能满足你的需求！

gana · 发表于 2021-5-28 10:11

比较笨的一个办法：用winform做客户端来爬取数据，添加webbrowser控件，在控件里把网页加载完后，再读取控件的内容。为了美观，可以吧控件隐藏。

weiyuhero · 发表于 2021-5-28 10:20

gana 发表于 2021-5-28 10:11
比较笨的一个办法：用winform做客户端来爬取数据，添加webbrowser控件，在控件里把网页加载完后，再读取控 ...

我也有个问题要问这样稳定吗要是网页加载不出来重新开始爬虫爬出来的数据怎么验证已经爬过呢？

zhangpan0912 · 发表于 2021-5-28 10:27

两个思路。
1.异步加载。以Ajax为例，找到网络的请求即可。
2.同步加载，使用js渲染页面显示效果。这种一般需要找到页面的渲染数据，直接解析即可。

onedayismyway · 发表于 2021-5-28 10:29

这应该是网页动态生成数据造成的，你分析下请求接口，估计有你想要的直接数据的请求，否则即使你拿到了网页数据，你还是需要分析提取。另一个使用webdriver，操作浏览器获取网页源码也可以。

Cool_Breeze · 发表于 2021-5-28 10:31

js动态加载的数据，对于我这种不懂js的人，感觉好难！

pwp · 发表于 2021-5-28 10:32

写个求助帖都运用了Markdown，膜拜大佬。

cdj68765 · 发表于 2021-5-28 11:22

对于这种需要网站加载后再出来数据的，一般建议直接上Selenium或者CefSharp

lene · 发表于 2021-5-28 12:47

如果能把url和参数贴出来，可以一起看看

帐号		自动登录	找回密码
密码			注册[Register]

[求助] C#爬虫问题