写点什么

EasyExcel 导出数据超过 Excel 单表上限解决方案

作者:@下一站
  • 2022-11-19
    陕西
  • 本文字数:2446 字

    阅读完需:约 8 分钟

EasyExcel导出数据超过Excel单表上限解决方案

思考逻辑:

1.了解一下 Excel 单表最多存储多少行数据(可以存储 1048576 条数据,1024 的平方,2 的 20 次方)。

2.知道最多多少行就能以这个数为条件,如果超过则进行分表。

3.分表的同时需要对数据进行分割,才能不超过最大限度。

注: 这就是简单的 demo,有关于自己项目中的逻辑自己加。

实体类(非常简单,为了导出表更快)

@ToString@Data@NoArgsConstructor@AllArgsConstructorpublic class Student {   @ExcelProperty(value = "学生年龄")   private int age;}
复制代码

测试类

//进行分表demo 	@Test    public void TestWrite() {    	//获取要导出的数据        List<Student> fillData = initFillData();        //获取一共多少条数据        int totalCount = fillData.size();        String fileName = "学生信息报告.xlsx";        //单表最多存储数        int sheetMaxNum = 1048576;		        ExcelWriter excelWriter = null;        // 如果总数超出单个sheet的大小 1048575 则进行分页        if (totalCount > sheetMaxNum) {            excelWriter = EasyExcel.write(fileName, Student.class).build();             // 设置的单个Sheet的数据量,必须小于1048576,            int pageSize = 1048575;            //要分表的页数            int sheetCount = 0;            //如果能整除则为整除的数            if (totalCount % pageSize == 0){                sheetCount = totalCount / pageSize ;            }else{            //如果不能整除则+1                sheetCount = (totalCount / pageSize) + 1 ;            }            int num = 0;            //进行循环分表            for (int pageNum = 1; pageNum <= sheetCount; pageNum++) {                WriteSheet writeSheet = EasyExcel.writerSheet(pageNum, "学生信息Sheet表_" + pageNum).head(Student.class).build();
int fromIndex = pageSize * pageNum; if (fromIndex >= totalCount) { fromIndex = totalCount; } //将数据进行分组 excelWriter.write(fillData.subList(num, fromIndex), writeSheet); num = fromIndex ; } } else { // 不超出则一次性全部导出 excelWriter = EasyExcel.write(fileName, Student.class).build(); WriteSheet writeSheet = EasyExcel.writerSheet("学生信息表").head(Student.class).build(); excelWriter.write(initFillData(), writeSheet); } excelWriter.finish(); }


//这是测试导出两百万条数据 private static List<Student> initFillData() { ArrayList<Student> fillDatas = new ArrayList<Student>(); for (int i = 2; i < 2000000; i++) { Student fillData = new Student(); fillData.setAge(i); fillDatas.add(fillData); } return fillDatas; }
复制代码

1、常用类

EasyExcel 入口类,用于构建开始各种操作;

ExcelReaderBuilder 构建出一个 ReadWorkbook 对象,即一个工作簿对象,对应的是一个 Excel 文件;

ExcelWriterBuilder 构建出一个 WriteWorkbook 对象,即一个工作簿对象,对应的是一个 Excel 文件;

ExcelReaderSheetBuilder 构建出一个 ReadSheet 对象,即一个工作表的对象,对应的 Excel 中的每个 sheet,一个工作簿可以有多个工作表;

ExcelWriterSheetBuilder 构建出一 WriteSheet 对象,即一个工作表的对象,对应的 Excel 中的每个 sheet,一个工作簿可以有多个工作表;

ReadListener 在每一行读取完毕后都会调用 ReadListener 来处理数据,我们可以把调用 service 的代码可以写在其 invoke 方法内部;

WriteHandler 在每一个操作包括创建单元格、创建表格等都会调用 WriteHandler 来处理数据,对使用者透明不可见;

所有配置都是继承的 Workbook 的配置会被 Sheet 继承。所以在用 EasyExcel 设置参数的时候,在 EasyExcel…sheet()方法之前作用域是整个 sheet,之后针对单个 sheet。

2、读取时的注解

@ExcelProperty

使用位置:标准作用在成员变量上

可选属性:

(1)index

含义:对应 Excel 表中的列数、默认-1,建议指定时从 0 开始

(2)value

对应 Excel 表中的列头

(3)converter

成员变量转换器、自定义转换器需要实 Converter 接口

注:index 属性可以指定当前字段对应 excel 中的哪一列,可以根据列名 value 去匹配,也可以不写。

如果不使用 @ExcelProperty 注解,成员变量从上到下的顺序,对应表格中从左到右的顺序;

要么全部不写,要么全部用 index,要么全部用名字去匹配,尽量不要三个混着用。

代码演示:

// 1. 修改成员变量顺序读取Excel表格// 2. 修改index属性值读取Excel表格// 3. 修改value属性值读取Excel表格@ExcelProperty(value = "学生姓名",index = 3)private String name;
复制代码
@ExcelIgnore

标注在成员变量上,默认所有字段都会和 excel 去匹配,加了这个注解会忽略该字段

代码演示:

// 4. 忽略id成员变量值读取Excel表格,在excel中不会显示。@Excellgoreprivate String id;
复制代码
@DateTimeFormat

标注在成员变量上,日期转换,代码中用String类型的成员变量去接收excel中日期格式的数据会调用这个注解。里面的value参照java.text.SimpleDateFormat

// 5. 按照指定的格式写入Excel内容//只显示年月日@DateTimeFormat("YYYY-MM-dd")private Date birthday;
复制代码

@NumberFormat

标注在成员变量上,数字转换,代码中用 String 类型的成员变量去接收 excel 数字格式的数据会调用这个注解。里面的 value 参照 java.text.DecimalFormat

@ExcelIgnoreUnannotated

注:标注在类上。

不标注该注解时,默认类中所有成员变量都会参与读写,无论是否在成员变量上加了 @ExcelProperty 的注解。

标注该注解后,类中的成员变量如果没有标注 @ExcelProperty 注解将不会参与读写。


发布于: 刚刚阅读数: 4
用户头像

@下一站

关注

还未添加个人签名 2020-11-22 加入

还未添加个人简介

评论

发布
暂无评论
EasyExcel导出数据超过Excel单表上限解决方案_大数据_@下一站_InfoQ写作社区