Board logo

标题: [技术文章] 在SQL Server中快速删除海量数据的方法 [打印本页]

作者: shillan    时间: 2019-4-23 20:49     标题: 在SQL Server中快速删除海量数据的方法

在删除一个拥有将近2000万条记录的表时,用简单的delete操作,发现即使只是删除几万条数据都要很长的运行时间,可能的原因我猜想大概有:(1)每一条记录的delete操作都会在数据库日志中加以记录;(2)表上的索引重建也导致比较耗时的操作。

在参考网上的一些建议之后,并根据实际情况:(1)确定要删除的数据并不打算做日志回滚;(2)通过减少数据量后重建索引或许速度并不见得慢多少。因此决定采用truncate table来操作。

(1)复制出需要保留的数据:

select * into table2 from table1 where id>100000;

(2)用truncate table删除原表中的数据,使用truncate table时,将删除表中的所有行,而不记录单个行删除操作。TRUNCATE TABLE 通过释放用于存储表数据的数据页来删除数据,并且在事务日志中只记录页释放。因而效率很高。

truncate table table1;

(3)回写保留下来的数据

insert into table1 select * from table2

(4)删除临时数据表

drop table table2

------------------------------------------------------------------------------------------

有关truncate table的一些描述在sql server的帮助文档中有详细描述,这里抄录如下:


与 DELETE 语句相比,TRUNCATE TABLE 具有以下优点:

所用的事务日志空间较少。

DELETE 语句每次删除一行,并在事务日志中为所删除的每行记录一个条目。TRUNCATE TABLE 通过释放用于存储表数据的数据页来删除数据,并且在事务日志中只记录页释放。 


使用的锁通常较少。

当使用行锁执行 DELETE 语句时,将锁定表中各行以便删除。TRUNCATE TABLE 始终锁定表和页,而不是锁定各行。 


表中将毫无例外地不留下任何页。

执行 DELETE 语句后,表仍会包含空页。例如,必须至少使用一个排他 (LCK_M_X) 表锁,才能释放堆中的空表。如果执行删除操作时没有使用表锁,表(堆)中将包含许多空页。对于索引,删除操作会留下一些空页,尽管这些页会通过后台清除进程迅速释放。


TRUNCATE TABLE 删除表中的所有行,但表结构及其列、约束、索引等保持不变。若要删除表定义及其数据,请使用 DROP TABLE 语句。 

如果表包含标识列,该列的计数器重置为该列定义的种子值。如果未定义种子,则使用默认值 1。若要保留标识计数器,请使用 DELETE。 

限制
不能对以下表使用 TRUNCATE TABLE: 

由 FOREIGN KEY 约束引用的表。


参与索引视图的表。


通过使用事务复制或合并复制发布的表。


对于具有以上一个或多个特征的表,请使用 DELETE 语句。

TRUNCATE TABLE 不能激活触发器,因为该操作不记录各个行删除。
------------------------------------------------------------------------------------  
另:https://blog.csdn.net/wzrjyq/article/details/1634384




欢迎光临 逐梦论坛 (http://temp2023.zhumeng.org/) Powered by Discuz! 7.2