Java实现Excel数据 批量 导入 数据库

概述：

这个小工具类是工作中的一个小插曲哦，因为提数的时候需要跨数据库导数... 有的是需要从oracle导入mysql ,有的是从mysql导入oracle

实践之后我们会发现使用navicat工具连接mysql数据库，从oracle数据库中导出数据为csv格式，再导入mysql是很快的，大概是分分钟的问题吧

但是当我们使用plsql连接oracle数据库，然后在mysql数据库中导出sql文件形式的数据想要插入oracle的时候，就很慢了..... 我一般是5万条的数据 6个字段，在开启命令窗口执行需要执行差不多2小时~ 这个真的太可怕了而且有时候工具有问题，还被迫中断.... 又要重新开始... 效率太低了

所以有了以下导数工具类.

新建maven项目，项目名称可自定义哦

ExecuteDataExcelToOracle.java 类，使用的时候直接执行main方法即可

　　需要替换你的Excel文件

　　需要替换你的数据库连接信息

　　需要替换你的表信息，以及字段（这里字段还与内部了 Data相关哦，如果你需要导入的字段大于10个请自己继续添加哈~）

主要做了以下几件事：

1.解析Excel文件，将Excel文件中的数据逐条的放入对象中

2. 连接数据库，将数据插入数据库

通过此工具类导入数据，5万条数据大概只要2分钟吧，而且大部分时间都是花在解析excel上~，效率简直不是一般的高哈哈哈哈~

package com.imodule.dataImport.dataImport.main;

import java.io.File;

import java.io.FileInputStream;

import java.io.Serializable;

import java.sql.Connection;

import java.sql.DriverManager;

import java.sql.PreparedStatement;

import java.sql.SQLException;

import java.text.DateFormat;

import java.text.SimpleDateFormat;

import java.util.ArrayList;

import java.util.List;

import java.util.Date;

import org.apache.commons.lang.StringUtils;

import org.apache.poi.ss.usermodel.CellType;

import org.apache.poi.ss.usermodel.Row;

import org.apache.poi.ss.usermodel.Sheet;

import org.apache.poi.ss.usermodel.Workbook;

import org.apache.poi.ss.usermodel.WorkbookFactory;

public class ExecuteDataExcelToOracle {

		public static void main(String[] args) {

			try {

				List<Data> datas = loadExcel("C:/Users/xxxx/Desktop/aa.xlsx");//需要替换

				batchInsert(datas);

			} catch (Exception e) {

				e.printStackTrace();

			}

		}

		/**

		 * 获取excel中的数据

		 * @param filepath

		 * @return

		 * @throws Exception

		 */

		public static List<Data> loadExcel(String filepath) throws Exception{

			File file = new File(filepath);

			Workbook wb = WorkbookFactory.create(new FileInputStream(file));

	        Sheet sheet = wb.getSheetAt(0);

	        List<Data> datas = new ArrayList<>();//将数据添加到数据一行一行的添加到集合中，作为插入数据的入参

	        Row row = null;

	        for (int i = 1; i <= sheet.getLastRowNum(); i++) {

	        	System.out.println("i="+i);

	            row = sheet.getRow(i);

	            if(row == null || StringUtils.isEmpty(row.getCell(0).getStringCellValue())){

	            	continue;

	            }

	            Data data = new ExecuteDataExcelToOracle().new Data();

	            data.setStr1(row.getCell(0) == null? "":row.getCell(0).getStringCellValue());

	            data.setStr2(row.getCell(1) == null? "":row.getCell(1).getStringCellValue());

	            data.setStr3(row.getCell(2) == null? "":row.getCell(2).getStringCellValue());

	            data.setStr4(row.getCell(3) == null? "":row.getCell(3).getStringCellValue());

	            data.setStr5(row.getCell(4) == null? "":row.getCell(4).getStringCellValue());

	            data.setStr6(row.getCell(5) == null? "":row.getCell(5).getStringCellValue());

	          //  row.getCell(5).setCellType(CellType.STRING);

	            if(row.getCell(6) == null){

	            	data.setStr7("");

	            }else{

		            Date d = (Date) row.getCell(6).getDateCellValue();

					DateFormat formater = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

					String date = formater.format(d);

		            data.setStr7(date);

	            }

	            data.setStr8(row.getCell(7) == null? "":row.getCell(7).getStringCellValue());

	            data.setStr9(row.getCell(8) == null? "":row.getCell(8).getStringCellValue());

	            data.setStr10(row.getCell(9) == null? "":row.getCell(9).getStringCellValue());

	            datas.add(data);

	        }

			return datas;

		}

		/**

		 * 批量执行插入数据

		 * @param datas

		 */

		public static void batchInsert(List<Data> datas){

			long startTime = System.currentTimeMillis();

			Connection conn = null;

			try {

				Class.forName("oracle.jdbc.driver.OracleDriver"); //如果是oracle就不需要替换，如果是mysql就需要替换

				conn=DriverManager.getConnection("jdbc:oracle:thin:@10.11.22.33:1521:demo", "root","111"); //需要替换

				conn.setAutoCommit(false);

				PreparedStatement stmt = conn.prepareStatement("INSERT INTO temp_user_info VALUES (?,?,?,?,?,?,?,?,?,?)"); //需要替换

				//System.out.println("数据大小：" + datas.size()); 

				int num = 0;

				for (Data v : datas) {

					num++;

					stmt.setString(1, v.getStr1());

					stmt.setString(2, v.getStr2());

					stmt.setString(3, v.getStr3());

					stmt.setString(4, v.getStr4());

					stmt.setString(5, v.getStr5());

//					stmt.setString(6, v.getStr6());

					stmt.setString(6, v.getStr6());

					stmt.setString(7, v.getStr7());

					stmt.setString(8, v.getStr8());

					stmt.setString(9, v.getStr9());

					stmt.setString(10, v.getStr10());

					stmt.addBatch();

					// 每5万，提交一次

					if (num > 50000) {

						stmt.executeBatch();

						conn.commit();

						num = 0;

					}

				}

				stmt.executeBatch();

				conn.commit();

			} catch (Exception e) {

				e.printStackTrace();

				try {

					conn.rollback();

				} catch (SQLException e1) {

					e1.printStackTrace();

				}

			} finally {

				try {

					conn.close();

				} catch (SQLException e) {

					e.printStackTrace();

				}

				long endTime = System.currentTimeMillis();

				System.out.println("方法执行时间：" + (endTime - startTime) + "ms");

			}

		}

		class Data implements Serializable{

			private static final long serialVersionUID = 1L;

			private String str1;

			private String str2;

			private String str3;

			private String str4;

			private String str5;

			private String str6;

			private String str7;

			private String str8;

			private String str9;

			private String str10;

			public String getStr7() {

				return str7;

			}

			public void setStr7(String str7) {

				this.str7 = str7;

			}

			public String getStr8() {

				return str8;

			}

			public void setStr8(String str8) {

				this.str8 = str8;

			}

			public String getStr9() {

				return str9;

			}

			public void setStr9(String str9) {

				this.str9 = str9;

			}

			public String getStr10() {

				return str10;

			}

			public void setStr10(String str10) {

				this.str10 = str10;

			}

			public String getStr1() {

				return str1;

			}

			public void setStr1(String str1) {

				this.str1 = str1;

			}

			public String getStr2() {

				return str2;

			}

			public void setStr2(String str2) {

				this.str2 = str2;

			}

			public String getStr3() {

				return str3;

			}

			public void setStr3(String str3) {

				this.str3 = str3;

			}

			public String getStr4() {

				return str4;

			}

			public void setStr4(String str4) {

				this.str4 = str4;

			}

			public String getStr5() {

				return str5;

			}

			public void setStr5(String str5) {

				this.str5 = str5;

			}

			public String getStr6() {

				return str6;

			}

			public void setStr6(String str6) {

				this.str6 = str6;

			} 

		}

}

pom.xml

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"

  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">

  <modelVersion>4.0.0</modelVersion>

  <groupId>com.imodule.dataImport</groupId>

  <artifactId>dataImport</artifactId>

  <version>0.0.1-SNAPSHOT</version>

  <packaging>jar</packaging>

  <name>dataImport</name>

  <url>http://maven.apache.org</url>

  <properties>

    <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>

  </properties>

  <dependencies>

    <dependency>

      <groupId>junit</groupId>

      <artifactId>junit</artifactId>

      <version>3.8.1</version>

      <scope>test</scope>

    </dependency>

   <!-- poi 相关 -->

	<dependency>

	    <groupId>org.apache.poi</groupId>

	    <artifactId>poi</artifactId>

	    <version>4.0.1</version>

	</dependency>

	<dependency>

	    <groupId>org.apache.poi</groupId>

	    <artifactId>poi-ooxml</artifactId>

	    <version>4.0.1</version>

	</dependency>

	<dependency>

	    <groupId>org.apache.poi</groupId>

	    <artifactId>poi-ooxml-schemas</artifactId>

	    <version>4.0.1</version>

	</dependency>

    <!-- https://mvnrepository.com/artifact/commons-io/commons-io -->

	<dependency>

	    <groupId>commons-io</groupId>

	    <artifactId>commons-io</artifactId>

	    <version>2.4</version>

	</dependency>

	<!-- https://mvnrepository.com/artifact/commons-lang/commons-lang -->

	<dependency>

	    <groupId>commons-lang</groupId>

	    <artifactId>commons-lang</artifactId>

	    <version>2.4</version>

	</dependency>

    <!-- https://mvnrepository.com/artifact/com.oracle/ojdbc6 -->

	<dependency>

        <groupId>ojdbc</groupId>

        <artifactId>ojdbc</artifactId>

	    <version>6</version>

    </dependency>

  </dependencies>

</project>

这个pom里面需要主要这个包好像比较难拿到

　<dependency>

        <groupId>ojdbc</groupId>

        <artifactId>ojdbc</artifactId>

	<version>6</version>

    </dependency>

这个我看看啥时候有时间就把这个包传到我github上去，到时候会更新博客，提供下载地址的

==============20190107更新有小伙伴在问我这个包的下载地址，今天就上传到github上了，感谢提醒哈哈哈哈不然我都快要忘记自己还有这项事情未完成了==start====================

github下载地址：https://github.com/DFX339/odbcJar.git

==============20190107更新有小伙伴在问我这个包的下载地址，今天就上传到github上了，感谢提醒哈哈哈哈不然我都快要忘记自己还有这项事情未完成了==end====================

还有一个就是在导入数据的时候需要注意两个值
1.null
2.日期类型的值

关于null，我的处理方案是先判断是否为null，如果为null就赋值""

data.setStr1(row.getCell(0) == null? "":row.getCell(0).getStringCellValue());

关于日期，我的处理方案是手动转换（这里不能直接用数据类型，会把日期自动计算为 49555.4类似的数据，到时候存到数据库也是这样的数据，所以我们还是用这个字符串吧~）

　　if(row.getCell(6) == null){

	data.setStr7("");

   }else{

	Date d = (Date) row.getCell(6).getDateCellValue();

	DateFormat formater = new SimpleDateFormat("yyyy-MM-dd HH:mm:ss");

	String date = formater.format(d);

	 data.setStr7(date);

   }

Java实现Excel数据批量导入数据库

Java实现Excel数据 批量 导入 数据库

概述：

Java实现Excel数据批量导入数据库的相关教程结束。

相关推荐

java输出流怎么表示

java强制类型转换的规则是什么

java隐式转换规则是什么

linux创建数据库的方法是什么

linux怎么创建数据库用户及用户组

linux创建数据库要注意哪些事项

java调用js脚本的方法是什么

java怎么调用json接口