poi大数据量生成excel

使用poi生成excel，当遇到大数据量时，会有几个问题：

 

1. 目前office2003 excle每个sheet最大支持行数为65536，当数据超过65536行时，会报异常

2. 当列为17列左右,数据行数达到50w条左右时，会包OOM错误

Exception in thread "15124183@qtp-16902686-1" java.lang.OutOfMemoryError: Java heap space Exception in thread "Thread-13" java.lang.OutOfMemoryError: Java heap space         at org.apache.poi.hssf.usermodel.HSSFRow.createCell(HSSFRow.java:141)         at org.apache.poi.hssf.usermodel.HSSFRow.createCell(HSSFRow.java:119)

 

问题1比较好解决，每次写入数据时，都获取sheet最后一行，在最后一行后继续写入数据，判断当最大行数大于65536或再小些，生成新的sheet，就能解决此问题。

具体代码片段

   int sheetLastSize = sheet.getLastRowNum();             // 如果数据是最大写入数的整数倍（Constants.EXCEL_SHEET_DATASIZE为最大行数）             if (sheetLastSize >= Constants.EXCEL_SHEET_DATASIZE) {                 sheet = workbook.createSheet();                 sheetLastSize = sheet.getLastRowNum();                 log.info("sheetLast Size:=========" + sheetLastSize);                 mapInfo.put("sheet", sheet);                 // 处理标题头                 processExcelTitle(dataset, workbook, sheet);             }

 

问题2 目前没有较好的解决办法。由于每行都要生成多个cell对象，当数据量大时，java GC还没来得及回收，导致最后没有内存创建cell对象。现在正测试一种方法（只是暂时缓解，不是最好的办法），每次写入数据后，把row赋值null，定时调用System.GC();没有别的好办法，只能暂时测试下。

还是不行，仍然溢出！

 

 

 

/**      * 传入已存在的workbook和数据源，向excel中追加数据,每个sheet大于指定行数时，创建新的sheet      *      * @param workbook      *            已存在的工作薄      * @param dataset      *            写入数据集合      * @param mapInfo      *                 准备数据map      */     @SuppressWarnings("unchecked")     private void dynamicExcel(HSSFWorkbook workbook, Map<String, Object> dataset, Map<Object, Object> mapInfo) {         Map<String, String> headers = (Map<String, String>) dataset.get("1");         Iterator<Entry<String, String>> titleIter = headers.entrySet().iterator();         // 取得所有行的数据         List<Map<String, String>> valueList = (List<Map<String, String>>) dataset.get("2");         wroteRecodeSize += valueList.size();         log.info("this times size is:------------------------------------------------------" + valueList.size());         log.info("total wrote recode size is:------------------------------------------------" + wroteRecodeSize);         HSSFSheet sheet = (HSSFSheet) mapInfo.get("sheet");         for (int i = 0; i < valueList.size(); i++) {             int sheetLastSize = sheet.getLastRowNum();             // 如果数据是最大写入数的整数倍             if (sheetLastSize >= Constants.EXCEL_SHEET_DATASIZE) {                 sheet = workbook.createSheet();                 sheetLastSize = sheet.getLastRowNum();                 log.info("sheetLast Size:=========" + sheetLastSize);                 mapInfo.put("sheet", sheet);                 // 处理标题头                 processExcelTitle(dataset, workbook, sheet);             }             // 追加行             HSSFRow row = sheet.createRow(sheetLastSize + 1);             sheet.setDefaultColumnWidth(25);             // 取得一行所有记录的所有值             int dataIndex = 0;             Map<String, String> values = valueList.get(i);             titleIter = headers.entrySet().iterator();             while (titleIter.hasNext()) {                 Map.Entry<String, String> entry = (Map.Entry<String, String>) titleIter.next();                 String key = entry.getKey();                 HSSFCell cell = row.createCell(dataIndex++); //                String v = values.get(key);                 cell.setCellValue(values.get(key));             }                     }     }