和讲师一样的代码

好像每次都让我登陆，爬的京东

@Scheduled(fixedDelay = 1000*100,initialDelay = 1000)
public void process() throws IOException {
System.out.println("111");
String url = "https://search.jd.com/Search?keyword=手机&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&wq=手机&cid2=653&cid3=655&s=174&click=0&page=";
for (int i = 0; i <= 10; i+=2) {
String html1 = httpUtil.getHtml(url + i);
System.out.println(222+""+html1);
parseHtml(html1);
}
}

每次打印222那行就打印出这个
222<script>window.location.href='https://passport.jd.com/uc/login'</script>

10

大佬在哪里

9

老哥已经上班了吗

java写爬虫不科学吧， python了解一下

把cookie换一下试试

cookie呢，请求头参数呢

你以为你想爬就爬的，现在真正的门户网站都是有反爬虫机制的，否则你这边死命发请求把别人搞炸了怎么办？或者你把页面爬去骗别人咋办？

起码你请求头得加cookie，然后可能还有别的请求头

设置一下头信息 httpGet.setHeader("User-Agent","Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:62.0) Gecko/20100101 Firefox/62.0");