java 爬虫发送请求

stephen2017

发布于
2020-10-27

HttpGet httpGet = new HttpGet(url);
httpGet.setHeader("User-Agent", "Mozilla/5.0(Windows NT 6.1;Win64; x64; rv:50.0) Gecko/20100101 Firefox/50.0");

我想问一下，这种httpGet 每次请求一个url 都需要new 一下？那我的这个setheader 每次也需要？这是不是太麻烦很多重合代码？因为一个网站可能很多url来回跳转

java 网页爬虫

阅读 1.3k

1 个回答

喵了个咪

可以看看文档嘛。

初始化的时候可以给定请求默认的header:

HttpClientBuilder.create().setDefaultHeaders()

查看全部 1 个回答

推荐问题

Java 开发 URL 匹配问题？
所有url都是对应 spring boot 3.5.0 @PostMapping访问前先进拦截器，查看有没有访问权限，获取请求url，然后根据url去查是否有匹配的，现在静态的1,3,7直接查询是否相等就可以了，对于动态2,4,5,6怎么匹配？
4 回答1.2k 阅读✓ 已解决
诺依框架自动生成代码前端Vue3提交数据，后端Java没收到问题出在哪里？
使用诺依框架自动生成代码功能。前端在请求地址处打印提交数据（有数据）如下图，后端Debug模式，进入断点查看数据如下图所示（无数据），问题一般出在哪里？========== Payload ===========
4 回答1.2k 阅读✓ 已解决
WSL里的Ubuntu系统开发Spring Boot报错Project build error: Non-readable POM ？
在wsl装了Ubuntu20,clone了以前的Java项目，但是用Vscode打开项目报错,请问这是哪个环节出现了问题，以前clone下来直接跑，在win10环境也是正常启动的，请问是mvn环境的配置问题，还是WSL的环境配置问题？
1 回答2.5k 阅读✓ 已解决
请问是否有什么方案实现不同用户之间本地数据库的同步呢？
请问是否有这样的功能？比如我本地A应用有应用sqlite数据库，然后用户B有同样的应用，C用户也有。A的数据库会自己增删改查，B/C的也会，但是有一天他们想要同步数据。请问是否有什么方案实现呢？
2 回答708 阅读✓ 已解决
MyBatis Plus 如何对敏感字段加解密（使用哪种加密方式）？
MyBatis Plus 如何对敏感字段加解密（使用哪种加密方式）？不同敏感字段需要使用不同的密钥，加密取出后给前端需要做脱敏，脱敏是在 Jackson 序列化到前端的时候做吗？
2 回答1.7k 阅读
一个类实现接口并且继承父类使用Spring aop 失效?
当我在一个对一个子类使用spring aop 自定义注解进行增强的过程遇到该子类重写了父类方法并且父类实现了接口，AOP切点失效问题模拟结构 {代码...} {代码...} {代码...} {代码...} 当我删除Child 实现的接口方法是可以aop可以扫描到对应的子类 {代码...} 请问这种子类即实现了接口又覆盖了父类的方法, spring aop 会采用...
2 回答1.6k 阅读
idea 中有很多个 yml配置文件 , 如果想查找 a.b.c.d.e属性有什么好的办法吗?
idea 中有很多个 yml配置文件 , 如果想查找 a.b.c.d.e属性有什么好的办法吗?
2 回答1.3k 阅读

相似问题

java发送post form_data请求
2 回答8.2k 阅读
java 爬虫报错
1.2k 阅读
java爬虫：httpClient发起请求时报ClientProtocolException的错误
1 回答9.7k 阅读✓ 已解决
java 爬虫 css 问题
871 阅读
java 爬虫正则的问题
1 回答1.5k 阅读

找不到问题？创建新问题

java 爬虫 发送请求

Java 开发 URL 匹配问题？

诺依框架自动生成代码前端Vue3提交数据，后端Java没收到问题出在哪里？

WSL里的Ubuntu系统开发Spring Boot报错Project build error: Non-readable POM ？

请问是否有什么方案实现不同用户之间本地数据库的同步呢？

MyBatis Plus 如何对敏感字段加解密（使用哪种加密方式）？

一个类实现接口并且继承父类 使用Spring aop 失效?

idea 中 有很多个 yml配置文件 , 如果想查找 a.b.c.d.e属性 有什么好的办法吗?

java 爬虫发送请求

一个类实现接口并且继承父类使用Spring aop 失效?

idea 中有很多个 yml配置文件 , 如果想查找 a.b.c.d.e属性有什么好的办法吗?