Internet worm（Java网络爬虫-虎牙篇）

jsoup虎牙篇

IDE：Idea：

package InternetWorm.huyaData;

import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;

import java.io.IOException;

public class GetHY {

    public static String[] games ={"wzry","3203","lol"};
    public static String URL = "https://www.huya.com/g/";

    public static void main(String[] args) throws IOException{

        for(String g :games){

            System.out.println("------------------------------------------------------"+g+"爬取开始了哟......");
            System.out.println("                                                              "+URL+g);

            Document doc = Jsoup.connect(URL+g)
                    .data("query","Java")
                    .userAgent("Crome")
                    .cookie("auth","token")
                    .timeout(3000).post();

//            Document doc =  Jsoup.connect(URL+g).get();
            Elements gameItmes = doc.select(".game-live-item");

            for(Element gi:gameItmes){

                String Title = gi.select("a").get(1).text();
                String Name = gi.select(".avatar").get(0).text();
                String Number = gi.select(".num").get(0).text();
                if(Number.endsWith("万")){
                    String n = Number.substring(0,Number.length()-1);
                    Number = (int)Double.parseDouble(n)*10000+"";
                }
                System.out.println(Title+"---"+Name+"---"+Number);

            }
            System.out.println("------------------------------------------------------------------"+g+"爬取结束！\n");

        }

    }

}

运行结果：

 

/*-------------------反爬声明o(*////▽////*)咻咻咻--------------------

作者：杨木发
版权声明：
       本文为博主倾情原创文章，整篇转载请附上源文链接！

如果觉得本文对你有所收获，你的请评论点赞 与

合理优质的转发也将是鼓励支持我继续创作的动力，

 更多精彩可百度搜索 杨木发 或：

个人网站：www.yangmufa.com    ，

开源中国：https://my.oschina.net/yangmufa    ，

Gitee：https://gitee.com/yangmufa    ，

GitHub：https://github.com/yangmufa    。

坚持创作 善于总结 开源共享 高质进步。
-------------------反爬声明o(*////▽////*)咻咻咻--------------------*/

来源：oschina

链接：https://my.oschina.net/yangmufa/blog/3138779