c#导入csv 到数据库

在C#中，将CSV文件导入到数据库是一个常见的任务，通常涉及读取CSV文件、解析数据并将其插入到数据库表中，以下是实现这一过程的详细步骤和代码示例：

1、准备工作

确保已安装.NET SDK，并创建一个新的C#控制台应用程序或ASP.NET Core Web应用程序。

选择一个数据库系统（如SQL Server、MySQL等），并确保已安装相应的数据库服务器和客户端库（如Dapper、Entity Framework等）。

2、连接数据库

使用ADO.NET、Entity Framework或其他ORM框架连接到数据库，以下示例使用Dapper进行演示：

     using System;
     using System.Data;
     using Dapper;
     using System.Data.SqlClient;
     class Program
     {
         static void Main(string[] args)
         {
             string connectionString = "Your_Connection_String_Here";
             using (var connection = new SqlConnection(connectionString))
             {
                 // 后续操作...
             }
         }
     }

3、读取CSV文件

可以使用System.IO命名空间下的StreamReader类来读取CSV文件：

     using (var reader = new StreamReader("path/to/yourfile.csv"))
     {
         string line;
         while ((line = reader.ReadLine()) != null)
         {
             // 处理每一行数据...
         }
     }

4、解析CSV数据

将CSV的每一行分割成字段，并存储到适当的数据结构中（如列表、字典等）：

     List<Dictionary<string, string>> data = new List<Dictionary<string, string>>();
     using (var reader = new StreamReader("path/to/yourfile.csv"))
     {
         string line;
         bool isFirstLine = true;
         while ((line = reader.ReadLine()) != null)
         {
             if (isFirstLine)
             {
                 isFirstLine = false;
                 continue; // 跳过标题行
             }
             string[] fields = line.Split(',');
             Dictionary<string, string> row = new Dictionary<string, string>
             {
                 {"Column1", fields[0]},
                 {"Column2", fields[1]},
                 // 根据实际列数添加更多键值对...
             };
             data.Add(row);
         }
     }

5、批量插入数据到数据库

使用Dapper或其他ORM框架将解析后的数据批量插入到数据库表中：

     using (var connection = new SqlConnection(connectionString))
     {
         connection.Open();
         foreach (var row in data)
         {
             string sql = "INSERT INTO YourTable (Column1, Column2) VALUES (@Column1, @Column2)";
             connection.Execute(sql, row);
         }
     }

6、完整示例代码

结合以上步骤，以下是一个完整的示例代码：

     using System;
     using System.Data;
     using Dapper;
     using System.Data.SqlClient;
     using System.IO;
     using System.Collections.Generic;
     class Program
     {
         static void Main(string[] args)
         {
             string connectionString = "Your_Connection_String_Here";
             string csvFilePath = "path/to/yourfile.csv";
             using (var connection = new SqlConnection(connectionString))
             {
                 connection.Open();
                 List<Dictionary<string, string>> data = new List<Dictionary<string, string>>();
                 using (var reader = new StreamReader(csvFilePath))
                 {
                     string line;
                     bool isFirstLine = true;
                     while ((line = reader.ReadLine()) != null)
                     {
                         if (isFirstLine)
                         {
                             isFirstLine = false;
                             continue; // 跳过标题行
                         }
                         string[] fields = line.Split(',');
                         Dictionary<string, string> row = new Dictionary<string, string>
                         {
                             {"Column1", fields[0]},
                             {"Column2", fields[1]},
                             // 根据实际列数添加更多键值对...
                         };
                         data.Add(row);
                     }
                 }
                 foreach (var row in data)
                 {
                     string sql = "INSERT INTO YourTable (Column1, Column2) VALUES (@Column1, @Column2)";
                     connection.Execute(sql, row);
                 }
             }
         }
     }

7、注意事项

确保CSV文件的格式正确，并且与数据库表的结构相匹配。

处理可能的异常情况，如文件不存在、数据库连接失败等。

根据需要调整批量插入的大小以提高性能。

8、FAQs

Q: 如果CSV文件很大，一次性读取所有数据到内存中可能会导致内存不足，该怎么办？

A: 可以将CSV文件分批读取和处理，例如每次读取一定数量的行，然后将其插入到数据库中，这样可以避免一次性加载整个文件到内存中。

Q: 如何处理CSV文件中的引号、逗号等特殊字符？

A: 可以使用正则表达式或专门的CSV解析库（如CsvHelper）来正确处理这些特殊字符，这些库通常提供了更强大的功能来解析和处理复杂的CSV格式。

小编有话说：通过本文的介绍，相信大家已经掌握了在C#中如何将CSV文件导入到数据库的基本方法，在实际应用中，根据具体需求和场景选择合适的工具和技术是非常重要的，也要注意处理可能出现的各种异常情况以确保程序的稳定性和可靠性。