OkHttp抓取网页源代码

这里使用的是IDEA，首先需要导入OkHttp的包（这是需要用到的网址https://mvnrepository.com/）

进到这个网站，搜索OkHttp，选择一个版本进入到以下界面，之后需要将红框里面的内容复制到你项目的配置文件中

像这样，复制过来的内容需要被<dependencies></dependencies>包裹，再点击右上角的按钮进行导入

导入完成后，就可以开始操作了。这里有两种请求方式，下面是采用get请求的代码

import okhttp3.*;

import java.io.IOException;

public class okHttp {
    public static void main(String[] args)throws Exception {
        String url="https://blog.51yangyu.cn";//需要获取源代码的目标网址，这里用的是我的博客网址
        OkHttpClient okHttpClient=new OkHttpClient();
        Request request=new Request.Builder().url(url).build();
        okHttpClient.newCall(request).enqueue(new Callback() {
            @Override
            public void onFailure(Call call, IOException e) {

            }

            @Override
            public void onResponse(Call call, Response response) throws IOException {
                System.out.println(response.body().string());//获取成功，则打印出来
            }
        });

    }
}

这下面是采用post请求的代码

import okhttp3.*;
import org.jetbrains.annotations.NotNull;

import java.io.IOException;

public class test {
    public static void main(String[] args) {
        String url="https://blog.51yangyu.cn";
        OkHttpClient okHttpClient=new OkHttpClient();
        RequestBody requestBody = new FormBody.Builder().build();
        Request request=new Request.Builder().url(url).post(requestBody).build();
        okHttpClient.newCall(request).enqueue(new Callback() {
            @Override
            public void onFailure(@NotNull Call call, @NotNull IOException e) {

            }

            @Override
            public void onResponse(@NotNull Call call, @NotNull Response response) throws IOException {
                System.out.println(response.body().string());
            }
        });
    }
}

可以看出两种方式只有一点点不一样的地方。

下面则是运行get请求的代码的结果，成功的获取了网页的源代码，post的就不演示了

所以拿到源代码之后，就可以想办法获取里面的数据了。