如何使用java.net.URLConnection来触发和处理HTTP请求

在这里经常会问到java.net.URLConnection用法，Oracle教程太简单了。

该教程基本上只展示了如何激发GET请求并读取响应。 它没有解释如何使用它来执行POST请求，设置请求标题，读取响应标头，处理cookie，提交HTML表单，上传文件等。

那么，如何使用java.net.URLConnection来触发和处理“高级”HTTP请求呢？

首先是免责声明：发布的代码片段都是基本示例。 您将需要处理普通IOException s和RuntimeException s，如NullPointerException ， ArrayIndexOutOfBoundsException并配合您自己。

准备

我们首先需要知道至少URL和字符集。 这些参数是可选的，取决于功能要求。

String url = "http://example.com";
String charset = "UTF-8";  // Or in Java 7 and later, use the constant: java.nio.charset.StandardCharsets.UTF_8.name()
String param1 = "value1";
String param2 = "value2";
// ...

String query = String.format("param1=%s&param2=%s", 
     URLEncoder.encode(param1, charset), 
     URLEncoder.encode(param2, charset));

查询参数必须采用name=value格式，并通过&连接。 您通常还会使用URLEncoder#encode()以指定的字符集对查询参数进行URL编码。

String#format()仅仅是为了方便。 当我需要String连接运算符+超过两次时，我更喜欢它。

使用（可选）查询参数激发HTTP GET请求

这是一项微不足道的任务。 这是默认的请求方法。

URLConnection connection = new URL(url + "?" + query).openConnection();
connection.setRequestProperty("Accept-Charset", charset);
InputStream response = connection.getInputStream();
// ...

任何查询字符串应连接到URL使用? 。 Accept-Charset头可以提示服务器参数的编码方式。如果你不发送任何查询字符串，那么你可以离开Accept-Charset头。 如果你不需要设置任何头文件，那么你甚至可以使用URL#openStream()快捷方法。

InputStream response = new URL(url).openStream();
// ...

无论哪种方式，如果另一方是HttpServlet ，那么它的doGet()方法将被调用，参数将由HttpServletRequest#getParameter() 。

出于测试目的，您可以将响应主体打印到stdout中，如下所示：

try (Scanner scanner = new Scanner(response)) {
    String responseBody = scanner.useDelimiter("A").next();
    System.out.println(responseBody);
}

使用查询参数激发HTTP POST请求

将URLConnection#setDoOutput()为true隐式地将请求方法设置为POST。 标准的HTTP POST作为Web表单的类型是application/x-www-form-urlencoded其中查询字符串被写入请求主体。

URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true); // Triggers POST.
connection.setRequestProperty("Accept-Charset", charset);
connection.setRequestProperty("Content-Type", "application/x-www-form-urlencoded;charset=" + charset);

try (OutputStream output = connection.getOutputStream()) {
    output.write(query.getBytes(charset));
}

InputStream response = connection.getInputStream();
// ...

注意：当你想以编程方式提交HTML表单，不要忘记采取name=value任何对<input type="hidden">元素融入到查询字符串，当然还有的name=value对您希望以编程方式“按下”的<input type="submit">元素（因为通常在服务器端用于区分按钮是否被按下以及是否按下了按钮）。

您也可以将获得的URLConnection为HttpURLConnection并使用其HttpURLConnection#setRequestMethod()代替。 但是，如果您尝试将连接用于输出，则仍然需要将URLConnection#setDoOutput()为true 。

HttpURLConnection httpConnection = (HttpURLConnection) new URL(url).openConnection();
httpConnection.setRequestMethod("POST");
// ...

无论哪种方式，如果另一端是HttpServlet ，那么它的doPost()方法将被调用，并且参数将由HttpServletRequest#getParameter() 。

实际上触发HTTP请求

您可以使用URLConnection#connect()明确地触发HTTP请求，但是当您想要获取有关HTTP响应的任何信息时（例如使用URLConnection#getInputStream()等的响应主体URLConnection#connect() ，请求将自动按需触发。 上面的例子确实如此，所以connect()调用实际上是多余的。

收集HTTP响应信息

int status = httpConnection.getResponseCode();

for (Entry<String, List<String>> header : connection.getHeaderFields().entrySet()) {
    System.out.println(header.getKey() + "=" + header.getValue());
}

String contentType = connection.getHeaderField("Content-Type");
String charset = null;

for (String param : contentType.replace(" ", "").split(";")) {
    if (param.startsWith("charset=")) {
        charset = param.split("=", 2)[1];
        break;
    }
}

if (charset != null) {
    try (BufferedReader reader = new BufferedReader(new InputStreamReader(response, charset))) {
        for (String line; (line = reader.readLine()) != null;) {
            // ... System.out.println(line) ?
        }
    }
} else {
    // It's likely binary content, use InputStream/OutputStream.
}

维护会话

服务器端会话通常由一个cookie支持。 一些网络表单要求您登录和/或由会话进行跟踪。 您可以使用CookieHandler API来维护Cookie。 您需要在发送所有HTTP请求之前使用CookiePolicy的ACCEPT_ALL准备CookieManager 。

// First set the default cookie manager.
CookieHandler.setDefault(new CookieManager(null, CookiePolicy.ACCEPT_ALL));

// All the following subsequent URLConnections will use the same cookie manager.
URLConnection connection = new URL(url).openConnection();
// ...

connection = new URL(url).openConnection();
// ...

connection = new URL(url).openConnection();
// ...

请注意，这已知在任何情况下都不能正常工作。 如果它失败了，那么最好是手动收集并设置cookie标头。 您基本上需要从登录响应或第一个GET请求中获取所有Set-Cookie头，然后通过后续请求传递它。

// Gather all cookies on the first request.
URLConnection connection = new URL(url).openConnection();
List<String> cookies = connection.getHeaderFields().get("Set-Cookie");
// ...

// Then use the same cookies on all subsequent requests.
connection = new URL(url).openConnection();
for (String cookie : cookies) {
    connection.addRequestProperty("Cookie", cookie.split(";", 2)[0]);
}
// ...

split(";", 2)[0]用于摆脱与服务器端无关的cookie属性，如expires ， path等。另外，还可以使用cookie.substring(0, cookie.indexOf(';'))而不是split() 。

流式传输模式

无论您是否使用connection.setRequestProperty("Content-Length", contentLength);设置了固定的内容长度， HttpURLConnection默认会在实际发送前缓冲整个请求体connection.setRequestProperty("Content-Length", contentLength); 。 这可能会导致OutOfMemoryException只要你同时发送大的POST请求（例如上传文件）。 为了避免这种情况，你想设置HttpURLConnection#setFixedLengthStreamingMode() 。

httpConnection.setFixedLengthStreamingMode(contentLength);

但是，如果内容长度事先并未知道，则可以通过相应地设置HttpURLConnection#setChunkedStreamingMode()来使用分块流式传输模式。 这会将HTTP Transfer-Encoding标头设置为chunked ，这将强制请求主体以块的形式发送。 下面的例子将以1KB的块形式发送主体。

httpConnection.setChunkedStreamingMode(1024);

用户代理

可能会发生请求返回意外的响应，但它可以在真正的Web浏览器中正常工作。 服务器端可能会阻止基于User-Agent请求标头的请求。 URLConnection默认将其设置为Java/1.6.0_19 ，其中最后一部分显然是JRE版本。 你可以覆盖它如下：

connection.setRequestProperty("User-Agent", "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2228.0 Safari/537.36"); // Do as if you're using Chrome 41 on Windows 7.

使用最近浏览器中的用户代理字符串。

错误处理

如果HTTP响应代码是4nn （客户端错误）或5nn （服务器错误），那么您可能需要阅读HttpURLConnection#getErrorStream()以查看服务器是否发送了任何有用的错误信息。

InputStream error = ((HttpURLConnection) connection).getErrorStream();

如果HTTP响应代码是-1，则连接和响应处理出错。 HttpURLConnection实现在旧的JRE中有点问题，它使连接保持活跃。 您可能希望通过将http.keepAlive系统属性设置为false来关闭它。 您可以通过以下方式在应用程序开始时以编程方式执行此操作：

System.setProperty("http.keepAlive", "false");

上传文件

通常，对于混合POST内容（二进制和字符数据），使用multipart/form-data编码。 编码在RFC2388中有更详细的描述。

String param = "value";
File textFile = new File("/path/to/file.txt");
File binaryFile = new File("/path/to/file.bin");
String boundary = Long.toHexString(System.currentTimeMillis()); // Just generate some unique random value.
String CRLF = "rn"; // Line separator required by multipart/form-data.
URLConnection connection = new URL(url).openConnection();
connection.setDoOutput(true);
connection.setRequestProperty("Content-Type", "multipart/form-data; boundary=" + boundary);

try (
    OutputStream output = connection.getOutputStream();
    PrintWriter writer = new PrintWriter(new OutputStreamWriter(output, charset), true);
) {
    // Send normal param.
    writer.append("--" + boundary).append(CRLF);
    writer.append("Content-Disposition: form-data; name="param"").append(CRLF);
    writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF);
    writer.append(CRLF).append(param).append(CRLF).flush();

    // Send text file.
    writer.append("--" + boundary).append(CRLF);
    writer.append("Content-Disposition: form-data; name="textFile"; filename="" + textFile.getName() + """).append(CRLF);
    writer.append("Content-Type: text/plain; charset=" + charset).append(CRLF); // Text file itself must be saved in this charset!
    writer.append(CRLF).flush();
    Files.copy(textFile.toPath(), output);
    output.flush(); // Important before continuing with writer!
    writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.

    // Send binary file.
    writer.append("--" + boundary).append(CRLF);
    writer.append("Content-Disposition: form-data; name="binaryFile"; filename="" + binaryFile.getName() + """).append(CRLF);
    writer.append("Content-Type: " + URLConnection.guessContentTypeFromName(binaryFile.getName())).append(CRLF);
    writer.append("Content-Transfer-Encoding: binary").append(CRLF);
    writer.append(CRLF).flush();
    Files.copy(binaryFile.toPath(), output);
    output.flush(); // Important before continuing with writer!
    writer.append(CRLF).flush(); // CRLF is important! It indicates end of boundary.

    // End of multipart/form-data.
    writer.append("--" + boundary + "--").append(CRLF).flush();
}

如果另一端是HttpServlet ，那么它的doPost()方法将被调用，并且这些部分将由HttpServletRequest#getPart() （注意，因此不是 getParameter()等等）提供。 然而， getPart()方法相对较新，它在Servlet 3.0（Glassfish 3，Tomcat 7等）中引入。 在Servlet 3.0之前，最好的选择是使用Apache Commons FileUpload来解析multipart/form-data请求。 另请参阅FileUpload和Servelt 3.0方法的示例。

处理不可信或错误配置的HTTPS站点

有时您需要连接HTTPS网址，也许是因为您正在编写网络抓取工具。 在这种情况下，您可能会遇到javax.net.ssl.SSLException: Not trusted server certificate某些HTTPS站点上的javax.net.ssl.SSLException: Not trusted server certificate ，它们未保持最新的SSL证书或java.security.cert.CertificateException: No subject alternative DNS name matching [hostname] found或javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name某些配置错误的HTTPS站点上的javax.net.ssl.SSLProtocolException: handshake alert: unrecognized_name 。

以下一次运行的static初始化工具可以让您的网页抓取工具类使HttpsURLConnection对这些HTTPS网站更为宽松，从而不会再抛出这些异常。

static {
    TrustManager[] trustAllCertificates = new TrustManager[] {
        new X509TrustManager() {
            @Override
            public X509Certificate[] getAcceptedIssuers() {
                return null; // Not relevant.
            }
            @Override
            public void checkClientTrusted(X509Certificate[] certs, String authType) {
                // Do nothing. Just allow them all.
            }
            @Override
            public void checkServerTrusted(X509Certificate[] certs, String authType) {
                // Do nothing. Just allow them all.
            }
        }
    };

    HostnameVerifier trustAllHostnames = new HostnameVerifier() {
        @Override
        public boolean verify(String hostname, SSLSession session) {
            return true; // Just allow them all.
        }
    };

    try {
        System.setProperty("jsse.enableSNIExtension", "false");
        SSLContext sc = SSLContext.getInstance("SSL");
        sc.init(null, trustAllCertificates, new SecureRandom());
        HttpsURLConnection.setDefaultSSLSocketFactory(sc.getSocketFactory());
        HttpsURLConnection.setDefaultHostnameVerifier(trustAllHostnames);
    }
    catch (GeneralSecurityException e) {
        throw new ExceptionInInitializerError(e);
    }
}

最后的话

Apache HttpComponents HttpClient在这方面更方便:)

分析和提取HTML

如果你只想从HTML解析和提取数据，那么最好使用像Jsoup这样的HTML解析器

在使用HTTP时，引用HttpURLConnection而不是基类URLConnection几乎总是更有用（因为当您在HTTP URL上请求URLConnection.openConnection()时， URLConnection是一个抽象类，无论如何您都会收到该URL）。

然后，您可以不依赖于URLConnection#setDoOutput(true)来隐式地将请求方法设置为POST，而是执行httpURLConnection.setRequestMethod("POST") ，有些人可能会发现它更自然（并且还允许您指定其他请求方法，例如PUT，DELETE，...）。

它还提供了有用的HTTP常量，因此您可以执行以下操作：

int responseCode = httpURLConnection.getResponseCode();

if (responseCode == HttpURLConnection.HTTP_OK) {

受到这个和其他问题的启发，我创建了一个最小的开源的基本http客户端，体现了这里找到的大部分技术。

google-http-java-client也是一个很好的开源资源。

上一篇: How to use java.net.URLConnection to fire and handle HTTP requests

下一篇: HTTP status code for update and delete?