QQ音乐榜单数据动态抓取实战：参数解析与Java实现

张

张建站

2026/4/6 4:56:09

10分钟阅读

1. 理解QQ音乐榜单数据接口QQ音乐的榜单数据是通过一个公开的API接口提供的这个接口的URL结构相对固定但包含了几个关键参数可以动态修改。我们先来看一下这个接口的基本格式https://u.y.qq.com/cgi-bin/musicu.fcg?formatjsoninCharsetutf8outCharsetutf-8platformyqq.jsonneedNewCode0data{detail:{module:musicToplist.ToplistInfoServer,method:GetDetail,param:{topId:26,offset:0,num:20,period:2019-12-20}}}这个URL中最关键的部分是data参数它是一个JSON字符串包含了以下几个重要字段topId榜单的唯一标识符不同榜单对应不同的IDoffset从第几条记录开始获取num要获取的记录数量period榜单的日期在实际使用中我们主要关注topId、num和period这三个参数。通过修改这些参数我们可以获取不同榜单、不同日期、不同数量的歌曲数据。比如流行指数榜的topId是4热歌榜的topId是26新歌榜的topId是27。2. 关键参数详解与实战调整2.1 榜单ID(topId)解析topId是QQ音乐中不同榜单的唯一标识符。以下是一些常见榜单的ID4流行指数榜26热歌榜27新歌榜28飙升榜32抖音排行榜36欧美榜要获取完整的榜单ID列表可以通过访问QQ音乐官网查看各个榜单然后从URL中提取对应的ID。或者更简单的方法是使用浏览器的开发者工具在访问榜单页面时查看网络请求从中找到对应的topId。2.2 日期参数(period)的使用技巧period参数用于指定要获取的榜单日期格式为YYYY-MM-DD。这个参数非常有用因为它允许我们获取历史榜单数据。比如2023-01-01获取2023年元旦当天的榜单2022-12-25获取2022年圣诞节的榜单需要注意的是QQ音乐并不是所有日期都有榜单数据。一般来说它会保留最近几个月的数据。如果指定的日期没有数据接口会返回空结果或者最近有数据的日期。2.3 数量参数(num)的合理设置num参数控制返回的歌曲数量默认值通常是20。我们可以根据需要调整这个值设置为10只获取前10名的歌曲设置为100获取前100名的歌曲设置为200获取完整榜单部分榜单可能不支持在实际应用中建议不要一次性获取太多数据因为这可能会增加服务器负担也更容易被识别为爬虫行为。合理的做法是分批获取比如每次获取20-50条数据。3. Java实现完整HTTP请求3.1 基础HTTP请求工具类下面是一个完整的Java实现包含了HTTP GET请求的基本功能import java.io.BufferedReader; import java.io.IOException; import java.io.InputStream; import java.io.InputStreamReader; import java.net.HttpURLConnection; import java.net.URL; public class QQMusicApiClient { public static String fetchData(String urlString) { HttpURLConnection connection null; BufferedReader reader null; StringBuilder response new StringBuilder(); try { URL url new URL(urlString); connection (HttpURLConnection) url.openConnection(); connection.setRequestMethod(GET); connection.setConnectTimeout(5000); connection.setReadTimeout(10000); if (connection.getResponseCode() HttpURLConnection.HTTP_OK) { InputStream inputStream connection.getInputStream(); reader new BufferedReader(new InputStreamReader(inputStream, UTF-8)); String line; while ((line reader.readLine()) ! null) { response.append(line); } } } catch (Exception e) { e.printStackTrace(); } finally { if (reader ! null) { try { reader.close(); } catch (IOException e) { e.printStackTrace(); } } if (connection ! null) { connection.disconnect(); } } return response.toString(); } }这个工具类提供了基本的HTTP GET请求功能设置了合理的超时时间连接5秒读取10秒并正确处理了字符编码UTF-8。3.2 构建动态请求URL为了更方便地构建请求URL我们可以创建一个专门的方法import java.net.URLEncoder; public class QQMusicUrlBuilder { public static String buildUrl(int topId, String period, int num) { try { String jsonParam String.format( {\detail\:{\module\:\musicToplist.ToplistInfoServer\,\method\:\GetDetail\,\param\:{\topId\:%d,\offset\:0,\num\:%d,\period\:\%s\}}}, topId, num, period ); String encodedParam URLEncoder.encode(jsonParam, UTF-8); return https://u.y.qq.com/cgi-bin/musicu.fcg?formatjsoninCharsetutf8outCharsetutf-8platformyqq.jsonneedNewCode0data encodedParam; } catch (Exception e) { e.printStackTrace(); return null; } } }这个方法接收topId、period和num三个参数自动构建完整的请求URL。注意这里使用了URLEncoder对JSON参数进行编码确保特殊字符不会破坏URL结构。4. 处理返回的JSON数据4.1 解析基础数据结构QQ音乐API返回的JSON数据结构相对复杂但主要信息都包含在detail字段中。一个典型的响应如下{ code: 0, ts: 1671523456789, start_ts: 1671523456789, detail: { data: { topId: 26, period: 2022-12-20, updateTime: 2022-12-20 00:00:00, song: [ { title: 歌曲名称, singer: [{name: 歌手名称}], album: {name: 专辑名称}, rank: 1, rankValue: 100 } // 更多歌曲... ] } } }4.2 使用Jackson库解析JSON为了更方便地处理JSON数据我们可以使用Jackson库。首先添加依赖dependency groupIdcom.fasterxml.jackson.core/groupId artifactIdjackson-databind/artifactId version2.13.0/version /dependency然后创建对应的Java类和解析方法import com.fasterxml.jackson.databind.ObjectMapper; public class QQMusicDataParser { public static ToplistData parseResponse(String jsonResponse) { try { ObjectMapper mapper new ObjectMapper(); return mapper.readValue(jsonResponse, ToplistData.class); } catch (Exception e) { e.printStackTrace(); return null; } } public static class ToplistData { public int code; public long ts; public Detail detail; public static class Detail { public Data data; public static class Data { public int topId; public String period; public String updateTime; public Song[] song; public static class Song { public String title; public Singer[] singer; public Album album; public int rank; public String rankValue; public static class Singer { public String name; } public static class Album { public String name; } } } } } }4.3 完整数据处理流程示例结合前面的工具类我们可以实现一个完整的榜单数据获取流程public class QQMusicExample { public static void main(String[] args) { // 1. 构建请求URL String url QQMusicUrlBuilder.buildUrl(26, 2022-12-25, 20); // 2. 发送HTTP请求 String response QQMusicApiClient.fetchData(url); // 3. 解析JSON响应 QQMusicDataParser.ToplistData data QQMusicDataParser.parseResponse(response); // 4. 处理数据 if (data ! null data.code 0 data.detail ! null data.detail.data ! null) { System.out.println(榜单ID: data.detail.data.topId); System.out.println(日期: data.detail.data.period); System.out.println(更新时间: data.detail.data.updateTime); System.out.println(\n歌曲列表:); for (QQMusicDataParser.ToplistData.Detail.Data.Song song : data.detail.data.song) { System.out.printf(排名: %d, 歌曲: %s, 歌手: %s, 专辑: %s\n, song.rank, song.title, song.singer[0].name, song.album.name); } } } }5. 实战技巧与注意事项5.1 请求频率控制在抓取数据时需要注意控制请求频率避免给QQ音乐服务器造成过大压力也避免被识别为恶意爬虫。建议在每个请求之间添加适当的延迟如1-3秒避免在短时间内发起大量请求可以考虑使用代理IP轮换但要注意合规性5.2 错误处理与重试机制网络请求可能会因为各种原因失败良好的错误处理机制很重要public class QQMusicApiClient { private static final int MAX_RETRIES 3; private static final long RETRY_DELAY_MS 1000; public static String fetchDataWithRetry(String urlString) { int attempt 0; while (attempt MAX_RETRIES) { try { String result fetchData(urlString); if (result ! null !result.isEmpty()) { return result; } } catch (Exception e) { e.printStackTrace(); } attempt; if (attempt MAX_RETRIES) { try { Thread.sleep(RETRY_DELAY_MS); } catch (InterruptedException ie) { Thread.currentThread().interrupt(); } } } return null; } }5.3 数据存储建议获取到的榜单数据可以存储到数据库或文件中方便后续分析。简单的CSV存储示例import java.io.FileWriter; import java.io.IOException; public class QQMusicDataStorage { public static void saveToCsv(QQMusicDataParser.ToplistData data, String filename) { try (FileWriter writer new FileWriter(filename)) { writer.write(排名,歌曲名称,歌手,专辑,排名值\n); for (QQMusicDataParser.ToplistData.Detail.Data.Song song : data.detail.data.song) { writer.write(String.format(%d,%s,%s,%s,%s\n, song.rank, escapeCsv(song.title), escapeCsv(song.singer[0].name), escapeCsv(song.album.name), song.rankValue)); } } catch (IOException e) { e.printStackTrace(); } } private static String escapeCsv(String input) { if (input null) return ; return input.contains(,) ? \ input \ : input; } }5.4 定时任务实现如果需要定期获取榜单数据可以使用Java的ScheduledExecutorServiceimport java.util.concurrent.Executors; import java.util.concurrent.ScheduledExecutorService; import java.util.concurrent.TimeUnit; public class QQMusicScheduler { private final ScheduledExecutorService scheduler Executors.newScheduledThreadPool(1); public void startDailyTask(int topId, int num) { scheduler.scheduleAtFixedRate(() - { String today java.time.LocalDate.now().toString(); String url QQMusicUrlBuilder.buildUrl(topId, today, num); String response QQMusicApiClient.fetchDataWithRetry(url); QQMusicDataParser.ToplistData data QQMusicDataParser.parseResponse(response); if (data ! null data.code 0) { String filename qqmusic_top topId _ today .csv; QQMusicDataStorage.saveToCsv(data, filename); System.out.println(数据已保存到: filename); } }, 0, 1, TimeUnit.DAYS); } public void stop() { scheduler.shutdown(); } }