如何编写SQL语句来去除重复数据？

在数据库操作中，去重（Deduplication）是一个常见的需求，无论是为了提高查询性能、减少存储空间，还是确保数据的唯一性，掌握SQL中去重的方法都是非常重要的，本文将详细介绍几种常见的SQL去重方法，包括使用DISTINCT关键字、GROUP BY子句以及窗口函数等，并通过示例代码和表格展示其用法。

使用 `DISTINCT` 关键字去重

DISTINCT 是SQL中用于去除重复行的基本方法，它可以直接应用于SELECT语句中，返回结果集中不重复的行。

示例：

假设有一个名为employees的表，包含以下数据：

我们希望获取所有不重复的员工姓名和部门组合，可以使用以下SQL语句：

SELECT DISTINCT name, department
FROM employees;

执行结果将会是：

使用 `GROUP BY` 子句去重

GROUP BY 子句不仅用于分组统计，也可以用于去重，通过将表中的列进行分组，并选择每组中的任意一行，可以实现去重的效果。

示例：

继续使用上面的employees表，如果我们希望获取每个部门的最高薪资员工信息，可以使用以下SQL语句：

SELECT department, MAX(salary) as max_salary
FROM employees
GROUP BY department;

执行结果将会是：

使用窗口函数去重

窗口函数提供了一种更灵活的方式来处理复杂的去重需求，可以使用ROW_NUMBER()窗口函数为每一行分配一个唯一的行号，然后根据这个行号来筛选出唯一的记录。

示例：

假设我们有一个名为orders的表，包含以下数据：

我们希望删除每个客户的最新订单之前的旧订单，可以使用以下SQL语句：

WITH ranked_orders AS (
    SELECT *,
           ROW_NUMBER() OVER (PARTITION BY customer_id ORDER BY order_date DESC) as rn
    FROM orders
)
DELETE FROM ranked_orders
WHERE rn > 1;

在这个例子中，我们首先使用ROW_NUMBER()窗口函数为每个客户的订单按日期降序排列，并为每个订单分配一个行号，我们删除行号大于1的记录，即每个客户的最新订单之外的其他订单。

相关问答FAQs

Q1:DISTINCT和GROUP BY有什么区别？

A1:DISTINCT用于返回唯一不同的值，适用于简单的去重场景，而GROUP BY则用于将结果集按照一个或多个列进行分组，并对每组应用聚合函数。GROUP BY通常用于更复杂的数据分析和统计。

Q2: 窗口函数在去重中有什么优势？

A2: 窗口函数提供了更高的灵活性和控制力，允许在保留所有列的同时进行去重，使用ROW_NUMBER()可以基于特定条件（如时间顺序）选择要保留的记录，这对于处理具有复杂逻辑的去重需求非常有用。