目錄
- 一、前言
- 二、JDBC實現流式查詢
- 三、性能測試
- 3.1. 測試大數據量普通查詢
- 3.2. 測試大數據量流式查詢
- 3.3. 測試小數據量普通查詢
- 3.4. 測試小數據量流式查詢
- 四、總結
一、前言
程序訪問MySQL數據庫時，當查詢出來的數據量特別大時，數據庫驅動把加載到的數據全部加載到內存里，就有可能會導致內存溢出（OOM）。
其實在MySQL數據庫中提供了流式查詢，允許把符合條件的數據分批一部分一部分地加載到內存中，可以有效避免OOM；本文主要介紹如何使用流式查詢并對比普通查詢進行性能測試。
二、JDBC實現流式查詢
使用JDBC的PreparedStatement/Statement的setFetchSize方法設置為Integer.MIN_VALUE或者使用方法Statement.enableStreamingResults()可以實現流式查詢，在執行ResultSet.next()方法時，會通過數據庫連接一條一條的返回，這樣也不會大量占用客戶端的內存。
public int execute(String sql, boolean isStreamQuery) throws SQLException {
Connection conn = null;
PreparedStatement stmt = null;
ResultSet rs = null;
int count = 0;
try {
//獲取數據庫連接
conn = getConnection();
if (isStreamQuery) {
//設置流式查詢參數
stmt = conn.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);
} else {
//普通查詢
stmt = conn.prepareStatement(sql);
}
//執行查詢獲取結果
rs = stmt.executeQuery();
//遍歷結果
while(rs.next()){
System.out.println(rs.getString(1));
count++;
}
} catch (SQLException e) {
e.printStackTrace();
} finally {
close(stmt, rs, conn);
}
return count;
}
「PS」：上面的例子中通過參數isStreamQuery來切換「流式查詢」與「普通查詢」，用于下面做測試對比。
三、性能測試
創建了一張測試表my_test進行測試，總數據量為27w條，分別使用以下4個測試用例進行測試：
- 大數據量普通查詢(27w條)
- 大數據量流式查詢(27w條)
- 小數據量普通查詢(10條)
- 小數據量流式查詢(10條)
3.1. 測試大數據量普通查詢
@Test
public void testCommonBigData() throws SQLException {
String sql = "select * from my_test";
testExecute(sql, false);
}
3.1.1. 查詢耗時
27w 數據量用時 38 秒
3.1.2. 內存占用情況
使用將近 1G 內存
3.2. 測試大數據量流式查詢
@Test
public void testStreamBigData() throws SQLException {
String sql = "select * from my_test";
testExecute(sql, true);
}
3.2.1. 查詢耗時
27w 數據量用時 37 秒
3.2.2. 內存占用情況
由于是分批獲取，所以內存在30-270m波動
3.3. 測試小數據量普通查詢
@Test
public void testCommonSmallData() throws SQLException {
String sql = "select * from my_test limit 100000, 10";
testExecute(sql, false);
}
3.3.1. 查詢耗時
10 條數據量用時 1 秒
3.4. 測試小數據量流式查詢
@Test
public void testStreamSmallData() throws SQLException {
String sql = "select * from my_test limit 100000, 10";
testExecute(sql, true);
}
3.4.1. 查詢耗時
10 條數據量用時 1 秒
四、總結
MySQL 流式查詢對于內存占用方面的優化還是比較明顯的，但是對于查詢速度的影響較小，主要用于解決大數據量查詢時的內存占用多的場景。
「DEMO地址」：https://github.com/zlt2000/mysql-stream-query
到此這篇關于MySQL中使用流式查詢避免數據OOM的文章就介紹到這了,更多相關MySQL 流式查詢內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家！
您可能感興趣的文章:- MySQL OOM（內存溢出）的解決思路
- MySQL Slave 觸發 oom-killer解決方法
- MySQL OOM 系列三 擺脫MySQL被Kill的厄運
- MySQL OOM 系統二 OOM Killer
- MySQL OOM 系列一 Linux內存分配
