springboot集成ElasticSearch笔记_speoki_elasticsearch springboot 集成

网络 02-07 8013

https://·/video/BV17a4y1x7zq?p=12 借鉴狂神视频教学

https://·/Search?keyword=java //记得联网 ajax不能获取，模拟浏览器 String url = AConst.AURL; //解析网页 Jsoup返回Document就是浏览器Document对象 Document parse = Jsoup.parse(new URL(url), 30000); //所有你在js中可以使用的方法这里都可以使用 Element element = parse.getElementById("J_goodsList"); System.out.println(element.html()); } }

获取所有的li标签内的内容

这里没有src。。。。打印一下

图片是懒加载的

package com.speoki.util; import org.jsoup.Jsoup; import org.jsoup.nodes.Document; import org.jsoup.nodes.Element; import org.jsoup.select.Elements; import java.io.IOException; import java.net.URL; public class HtmlParseUtil { public static void main(String[] args) throws IOException { //获取请求 https://search.jd.com/Search?keyword=java //记得联网 ajax不能获取，模拟浏览器 String url = AConst.AURL; //解析网页 Jsoup返回Document就是浏览器Document对象 Document parse = Jsoup.parse(new URL(url), 30000); //所有你在js中可以使用的方法这里都可以使用 Element element = parse.getElementById("J_goodsList"); // System.out.println(element.html()); //爬取页面，获取请求返回的信息。筛选出需要的数据 //获取所有的li标签下的内容 Elements li = element.getElementsByTag("li"); //打印所有li标签下的信息 for (Element e : li) { // System.out.println(e); //获取图片地址 //关于这种图片特别多的网站，所有的图片都是延迟加载的 //source-data-lazy-img //data-lazy-img String img = e.getElementsByTag("img").eq(0).attr("data-lazy-img"); //获取商品价格p-price String price = e.getElementsByClass("p-price").eq(0).text(); //获取商品名字p-name String title=e.getElementsByClass("p-name").eq(0).text(); System.out.println("=================="); System.out.println(img); System.out.println(price); System.out.println(title); } } }

====================

public static void main(String[] args) throws IOException { new HtmlParseUtil().parseJD("并发").forEach(System.out::println); //首先调用方法，然后将得到的对象输出 forEach(System.out::println) } public ArrayList<Content> parseJD(String keywords) throws IOException { //获取请求 https://search.jd.com/Search?keyword=java //记得联网 ajax不能获取，模拟浏览器 // String url = AConst.AURL; //解析网页 Jsoup返回Document就是浏览器Document对象 Document parse = Jsoup.parse(new URL("https://search.jd.com/Search?keyword="+keywords), 30000); //所有你在js中可以使用的方法这里都可以使用 Element element = parse.getElementById("J_goodsList"); // System.out.println(element.html()); //爬取页面，获取请求返回的信息。筛选出需要的数据 //获取所有的li标签下的内容 ArrayList<Content> goodsList = new ArrayList<>(); Elements li = element.getElementsByTag("li"); //打印所有li标签下的信息 for (Element e : li) { // System.out.println(e); //获取图片地址 //关于这种图片特别多的网站，所有的图片都是延迟加载的 //source-data-lazy-img //data-lazy-img String img = e.getElementsByTag("img").eq(0).attr("data-lazy-img"); //获取商品价格p-price String price = e.getElementsByClass("p-price").eq(0).text(); //获取商品名字p-name String title=e.getElementsByClass("p-name").eq(0).text(); System.out.println("=================="); System.out.println(img); System.out.println(price); System.out.println(title); Content content = new Content(); content.setTitle(title); content.setImg(img); content.setPrice(price); goodsList.add(content); } return goodsList; } }

URL不支持中文需要设置

npm显示理想树解决方法 \