关于爬虫的

猎鹰呼叫猎狗 · 发表于 2017-4-18 16:30

小白刚学爬虫的，想采集QQ群人员的信息。登陆的是WEBQQ，想抓取QQ号码以及别的信息。然后右键检查，但是，除过我的QQ号码可以看到，群里别人的QQ号码都看不到（看截图）。不知道怎么采集数据。在源码里看到了这个 <script type="text/javascript"> 网上查了一下，说是动态的数据。是这样的吗？所以，想请教大神指点一二！！！
这是网页的源代码<!DOCTYPE html><html><head> <meta charset="UTF-8"> <title>QQ</title> <meta name="viewport" content="width=device-width, initial-scale=1.0, maximum-scale=1.0, user-scalable=no" /> <meta name="format-detection" content="telephone=no" /> <meta name="apple-mobile-web-app-capable" content="yes" /> <meta name="mqq-bottom-ad" content="no" /> <script type="text/javascript" charset="utf-8"> document.domain = "qq.com"; var speedTempCache = {}, pageStartTime = Date.now(); speedTempCache["7832-22-1"] = {}; speedTempCache["7832-22-1"]["1"] = pageStartTime; </script><link rel="stylesheet" type="text/css" /></head><body class="black"> <div id="bgAllImage"></div> <div class="wrap"> <div id="main_container" style="display:none;"></div> <div id="container" class="container" style="display:none;"> </div> <div id="guide" class="guide-tips" > <h2 >Smart QQ</h2> <div class="tips"> 不管身处何地，手持何物<br/>QQ让你沟通无障碍 </div> <div class="login-tips">  <div class="btn btn_blue " onclick="mq.main.gotoLogin();">登录</div> </div> <div id="qrcode" > <div>扫一扫，记下我们的网址</div> <br/> <img src="http://pub.idqqimg.com/smartqq/css/image/qrcode.png" width="200"> </div> </div> </div>  <script type="text/javascript"> speedTempCache["7832-22-1"]["2"] = Date.now(); </script> <script src="http://pub.idqqimg.com/smartqq/js/mq.js?t=20161220"></script> </body></html>

猎鹰呼叫猎狗 · 发表于 2017-4-18 16:33

网页源代码怎么变成这样；

Conver · 发表于 2017-4-18 16:55

JS,就这点提示，自己琢磨

NewType · 发表于 2017-4-18 17:57

nodejs + jsdom 可以这么提取

[JavaScript] 纯文本查看 复制代码

var myFriend = new Array();
$("li.list_item").each(function() {
    var item = new Array(2);
    item["nickname"] = $(this).find("p.member_nick").text();
    item["qq"] = $(this).attr("_uin");
    myFriend.push(item);
});
console.log(myFriend);