最近需要进行对数据库的数据进行导入导出，之前使用的方式是，同时接到两台数据库上，进行读写操作；
但是，如果不能直接连数据库，可以使用另一种方法;
从源数据库导出数据到文件将数据导入到目标数据库；
从数据库导出数据到文件，最佳的方式应该是导出成 csv 文件；
什么是 csv 文件：
csv 全称“Comma-Separated Values”，是一种逗号分隔值格式的文件，是一种用来存储数据的纯文本格式文件。CSV 文件由任意数目的记录组成，记录间以某种换行符分隔；每条记录由字段组成，字段间的分隔符是其它字符或字符串。它们大多使用逗号字符来分隔（或定界）数据，但有时使用其他字符，如分号等;
导出数据库数据
打开数据库可视化工具；查询所需数据，选择导出数据；选择导出文件格式为 csv
读取 csv 文件数据
使用 JAVA 读取 CSV 文件的三种方式:
使用 BufferedReader 逐行读取
使用 CsvReader 读取
使用 univocity 解析 csv 文件
使用 BUfferReader 读取文件
因为csv本质上是一个文本文件，所以可以使用File中的reader方法读取数据；
复制代码
读取代码如下：
public static void readFileByLine(String filepath) throws Exception { BufferedReader reader = new BufferedReader(new FileReader(filepath)); String line = null; if((line = reader.readLine())!= null) { System.out.println(line); //第一行 line = reader.readLine(); System.out.println(line); //第二行 for (String text: line.split(",")) { System.out.println(text); } } reader.close(); }
复制代码
在读取 csv 文件时，对于不换行的文件没问题，但是遇到有些 csv 文件会换行，就会有问题；所以不太建议使用这个方式；
使用 csvReader
net.sourceforge.javacsv:javacsv:2.0
CsvReader 可以逐行读取文件记录；可以使用 readHeaders()读取表头使用 readRecord()读取记录使用 getVaules()以数组形式获取行记录
具体代码如下：
import com.csvreader.CsvReader;
public static void readByCsvReader(String filePath) throws Exception {
CsvReader csvReader = new CsvReader(filePath, ',', Charset.defaultCharset()); csvReader.readHeaders(); //读取表头 if(csvReader.readRecord()){ //读取一行数据 String[] vs = csvReader.getValues(); for (String v:vs) { System.out.println(v); } } csvReader.close(); }
复制代码
在 javacsv 中，还有一个 CSVWriter 可以写数据到 csv 文件中。使用起来比较简单，只需要 调用
csvWriter.writeRecord(values);
传递一个数组，写入数据到 csv 文件。且会自动分割；
代码示例如下：
import com.csvreader.CsvWriter;
public static void writeCsv(String filePath , String[] values) throws Exception{ //创建写对象 CsvWriter csvWriter = new CsvWriter(filePath, ',',Charset.defaultCharset()); csvWriter.writeRecord(values); //写入数据 csvWriter.close(); }
复制代码
使用 Univocity 解析 CSV 文件
Univocity 是一个开源的 Java 项目.针对 CSV、TSV 定宽文本文件的解析,它以简洁的 API 开发接口提供了丰富而强大的功能；
引入依赖
compile 'com.univocity:univocity-parsers:2.9.1'
示例代码如下：
import com.univocity.parsers.common.ParsingContext;import com.univocity.parsers.common.processor.RowProcessor;import com.univocity.parsers.csv.CsvParser;import com.univocity.parsers.csv.CsvParserSettings;
public class FileUtils { /** * * */ public static void readByUnivocity(String filePath){
CsvParserSettings parserSettings = new CsvParserSettings(); parserSettings.setDelimiterDetectionEnabled(true); //自动探测分隔符 //把第一个解析行看作文件中每个列的标题 parserSettings.setHeaderExtractionEnabled(true);
RowProcessor rowProcessor = new RowProcessor() { @Override public void processStarted(ParsingContext context) { System.out.println("开始处理"); }
@Override public void rowProcessed(String[] row, ParsingContext context) { System.out.println("开始处理行数据"); //System.out.println(Arrays.toString(row)); }
@Override public void processEnded(ParsingContext context) { System.out.println(context.currentLine()); } }; parserSettings.setMaxCharsPerColumn(40960); parserSettings.setMaxColumns(51200); //parserSettings.setProcessor(rowProcessor); CsvParser csvParser = new CsvParser(parserSettings); //csvParser.parse(new File(filePath),Charset.defaultCharset()); List<String[]> rows = csvParser.parseAll(new File(filePath),Charset.defaultCharset()); System.out.println(rows.size()); }}
复制代码
评论