如何编写SQL语句来去除重复数据？

SELECT DISTINCT column_name FROM table_name;

在数据库操作中，去重（Deduplication）是一个常见的需求，无论是为了提高查询性能、减少存储空间，还是确保数据的唯一性，掌握SQL中去重的方法都是非常重要的，本文将详细介绍几种常见的SQL去重方法，包括使用DISTINCT关键字、GROUP BY子句以及窗口函数等，并通过示例代码和表格展示其用法。

使用 `DISTINCT` 关键字去重

DISTINCT 是SQL中用于去除重复行的基本方法，它可以直接应用于SELECT语句中，返回结果集中不重复的行。

示例：

假设有一个名为employees的表，包含以下数据：

id	name	department	salary
1	Alice	HR	5000
2	Bob	IT	6000
3	Charlie	IT	6000
4	Alice	HR	5000

我们希望获取所有不重复的员工姓名和部门组合，可以使用以下SQL语句：

SELECT DISTINCT name, department
FROM employees;

执行结果将会是：

name	department
Alice	HR
Bob	IT
Charlie	IT

使用 `GROUP BY` 子句去重

GROUP BY 子句不仅用于分组统计，也可以用于去重，通过将表中的列进行分组，并选择每组中的任意一行，可以实现去重的效果。

示例：

继续使用上面的employees表，如果我们希望获取每个部门的最高薪资员工信息，可以使用以下SQL语句：

SELECT department, MAX(salary) as max_salary
FROM employees
GROUP BY department;

执行结果将会是：

department	max_salary
HR	5000
IT	6000

使用窗口函数去重

窗口函数提供了一种更灵活的方式来处理复杂的去重需求，可以使用ROW_NUMBER()窗口函数为每一行分配一个唯一的行号，然后根据这个行号来筛选出唯一的记录。

示例：

假设我们有一个名为orders的表，包含以下数据：

order_id	customer_id	product_id	order_date
101	C001	P001	2023-01-01
102	C002	P002	2023-01-02
103	C001	P003	2023-01-03
104	C003	P001	2023-01-04

我们希望删除每个客户的最新订单之前的旧订单，可以使用以下SQL语句：

WITH ranked_orders AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY customer_id ORDER BY order_date DESC) as rn
    FROM orders
)
DELETE FROM ranked_orders
WHERE rn > 1;

在这个例子中，我们首先使用ROW_NUMBER()窗口函数为每个客户的订单按日期降序排列，并为每个订单分配一个行号，我们删除行号大于1的记录，即每个客户的最新订单之外的其他订单。