一、項目場景

項目中要實現(xiàn)交易報表，處理大規(guī)模數(shù)據(jù)導(dǎo)出時，出現(xiàn)單個Excel文件過大導(dǎo)致性能下降的問題，需求是導(dǎo)出大概四千萬條數(shù)據(jù)到Excel文件，不影響正式環(huán)境的其他查詢。

二、方案

1.使用讀寫分離，查詢操作由從庫處理
2.數(shù)據(jù)分批查詢
3.異步導(dǎo)出數(shù)據(jù)
4.生成和拆分多個Excel文件

三、實現(xiàn)

1.pom.xml中添加以下依賴：

<dependencies><!-- Spring Boot Starter Data JPA --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-data-jpa</artifactId></dependency><!-- Spring Boot Starter Async --><dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-web</artifactId></dependency><!-- Apache POI for Excel --><dependency><groupId>org.apache.poi</groupId><artifactId>poi</artifactId></dependency><dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId></dependency>
</dependencies>

包括SpringBoot、Spring Data JPA、異步處理相關(guān)的依賴，以及用于生成Excel文件的Apache POI庫。

2.application.properties中加入數(shù)據(jù)庫配置，以及異步任務(wù)執(zhí)行器的配置：

# Database configuration
spring.datasource.url=jdbc:mysql://localhost:3306/yourdatabase
spring.datasource.username=yourusername
spring.datasource.password=yourpassword
# Async configuration
spring.task.execution.pool.core-size=10
spring.task.execution.pool.max-size=20
spring.task.execution.pool.queue-capacity=500
spring.task.execution.thread-name-prefix=Async-thread

3.使用從庫進行查詢
減輕主庫的查詢壓力，建議在架構(gòu)上使用讀寫分離，查詢操作由從庫處理。這樣可以確保主庫的操作性能和其他接口查詢不受影響。

@Service
public class DataService {@Autowiredprivate DataRepository dataRepository;public List<Data> fetchData(int offset, int limit) {return dataRepository.findAll(PageRequest.of(offset, limit)).getContent();}
}

4.數(shù)據(jù)分批查詢策略
防止一次性查詢大量數(shù)據(jù)導(dǎo)致內(nèi)存溢出，采用分頁查詢的方式，每次查詢部分?jǐn)?shù)據(jù)進行處理。

@Service
public class DataExportService {@Autowiredprivate DataService dataService;@Asyncpublic void exportData() {int pageSize = 10000;int pageNumber = 0;List<Data> dataBatch;do {dataBatch = dataService.fetchData(pageNumber, pageSize);if (!dataBatch.isEmpty()) {// 導(dǎo)出數(shù)據(jù)到ExcelexportToExcel(dataBatch, pageNumber);}pageNumber++;} while (!dataBatch.isEmpty());}
}

5.異步任務(wù)配置
通過@EnableAsync注解啟用異步任務(wù)，并配置一個任務(wù)執(zhí)行線程來單獨執(zhí)行導(dǎo)出任務(wù)。

@Configuration
@EnableAsync
public class AsyncConfig implements AsyncConfigurer {@Overridepublic Executor getAsyncExecutor() {ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor();executor.setCorePoolSize(10);executor.setMaxPoolSize(20);executor.setQueueCapacity(500);executor.setThreadNamePrefix("Async-");executor.initialize();return executor;}
}

6.導(dǎo)出任務(wù)接口實現(xiàn)
使用@Async注解將導(dǎo)出任務(wù)的方法標(biāo)記為異步執(zhí)行。

@Service
public class DataExportService {@Autowiredprivate DataService dataService;@Asyncpublic void exportData() {// 數(shù)據(jù)查詢和導(dǎo)出的邏輯}
}

7.生成和拆分Excel文件
使用Apache POI處理Excel，查詢到的數(shù)據(jù)批次，將數(shù)據(jù)分成多個Excel文件，避免單個文件過大。

public void exportToExcel(List<Data> dataBatch, int batchNumber) {Workbook workbook = new XSSFWorkbook();Sheet sheet = workbook.createSheet("Data");int rowNum = 0;for (Data data : dataBatch) {Row row = sheet.createRow(rowNum++);row.createCell(0).setCellValue(data.getId());row.createCell(1).setCellValue(data.getName());// 其他數(shù)據(jù)列}try (FileOutputStream fos = new FileOutputStream("data_batch_" + batchNumber + ".xlsx")) {workbook.write(fos);} catch (IOException e) {e.printStackTrace();}
}