SQL数据库应急数据处理

最近常对SQL数据库进行手工式数据处理，有必要记录一些应急性数据库操作和sql语句。

1.SQL 数据库导入导出，要导的数据和SQL数据库的表数据有重复的主键ID记录而数据导入失败。

(1)将要导的数据转到Excel电子表格，记住原始表的最大ID，改变Excel表ID列第一行的值为原始表的最大ID+1，利用Excel的向下拖移ID列以序列填充功能实现ID递增，再将其导入SQL 数据库。

(2)右键打开SQL 数据库的表菜单，选择设计表，将ID列移除主键，允许空值，自增标识设为否，保存该表，直接导入数据，这么做是为了让有重复ID的数据先导入SQL数据库里。完毕后在设计表中先删除该ID列，再插入新的ID列，设为主键，自增标识设为是，保存该表，则ID自动从1自增到最大条数值。

(3)在使用SQL自带的导入导出功能时，下一步到“选择源表和视图”步骤时，拉动到“转换”列，看到“启用标识插入”选项，去掉该钩，则导入成功。

(4)编写循环自增的存储过程，代码如下：

Create Procedure [dbo].[UpdateOrderID]

@TableName varchar(8000), --表名参数

@ColumnName varchar(8000), --列名参数(要循环自增的字段)

@OrderFileds varchar(8000) --排序字段参数

as

begin tran --开始事务

declare @SQL varchar(8000)

declare @ID int

declare @index int

declare @count int

--声明游标

--select ID from (select * from jjda)t 用于从记录集里再次查询记录

exec('declare CRMPSContact_cursor cursor for select ID from '+@TableName+' order by '+@OrderFileds)

--打开游标

open CRMPSContact_cursor

--取第一行的值给专案变量: @ID

fetch next from CRMPSContact_cursor into @ID

set @index=1

--select @count=rows from sysindexes where indid in (0,1) and object_name(id)=@TableName 计算表条目总数赋值给变量：@count

--移动游标,其它所有行更新操作(当到结尾时退出)

while @@FETCH_STATUS = 0

begin

set @SQL='update '+@TableName+' set '+@ColumnName+'='+cast(@index as varchar(8000))+' where id='+cast(@ID as varchar(8000))

exec(@SQL)

set @index=@index+1

--游标移到下一行

fetch next from CRMPSContact_cursor into @ID

--执行错误回滚

if @@error!=0

begin

rollback tran

return

end

end

--提交所有变更

commit tran

--关闭游标

close CRMPSContact_cursor

--释放游标

deallocate CRMPSContact_cursor

--恢复设置

set nocount off

执行代码：exec UpdateOrderID @TableName='****',@ColumnName='****',@OrderFileds='****'。其中****代表输入的具体值。

2.给uniqueidentifier类型的GUID赋值，可用SQL自带的系统函数newid()。

update table1 set guid=newid()

3.用表1某列数据更新到表2某列数据，如导数据时忘记将表1某列的值写到表2某列，其实只要找到表1和表2共同的相同值就容易多了，若找不到共同值，可用1的方法，将主键ID修改成从1开始递增，转换为相同值。

update table2 set text=table1.text from table1 where table1.id=table2.id

4.要导的数据含有不规范数据，导致数据类型转换失败而数据导入失败。

这种情况最常见的是，varchar类型数据(编号、时间字段等)导入到int类型数据，类型转换失败(可用cast转换)。在SQL表中新建一列备用列(bk)，先将varchar类型数据(编号、时间字段等)导到备用列(bk)，在用sql语句替换掉多余字符，如时间字段“2010/11/12”的多余字符为‘/’，可进行多次替换多个多余字符。

update table1 set bk=replace(bk,'/','')

替换完毕后，再赋值到varchar类型数据(编号、时间字段等)

update table1 set time=bk

5.SQL数据做按指定字符分离处理。

在用户自定义函数中新建函数SplitString，代码如下：

CREATE function SplitString

(

@SourceStr varchar(8000),--字符串

@StrSeprate varchar(10),--分隔符

@StrIndex int--分隔位置

)

returns varchar(1000)

as

begin

declare @i int

declare @j int

declare @SeprateNum int

declare @ReturnStr varchar(1000)

set @SourceStr=rtrim(ltrim(@SourceStr)) --格式化字符串

set @i=charindex(@StrSeprate,@SourceStr) --获取分隔符位置

set @j=1

set @SeprateNum=1

while @i>=1 and @j<=@StrIndex

begin

set @ReturnStr=left(@SourceStr,@i-1) --获取数组第一个字符串

set @SourceStr=substring(@SourceStr,@i+1,len(@SourceStr)-@i) --获取字符串后半截子字符串

set @i=charindex(@StrSeprate,@SourceStr)

if(@i>=1) set @SeprateNum=@SeprateNum+1 --统计分隔符个数

set @j=@j+1

end

if @j=@StrIndex set @ReturnStr=substring(@SourceStr,@i+1,len(@SourceStr)-@i) --返回数组最后一个字符串

else if(@SeprateNum+1<@StrIndex)set @ReturnStr=null --数组下标越界赋空值

return @ReturnStr

end

调用：select SplitString(dh,'-',4) from table1

则查询出按“-”分离出的dh值第四个内容。

6.SQL数据截取部分内容

(1)截取前N个长度的内容。

select left(text,N) from table1

(2)截取后N个长度的内容。

select right(text,N) from table1

(3)截取从N到M长度的内容

select substring(text,n,m-n) from table1

(4)截取总长度-N长度的内容。

select substring(text,N+1,len(text)-N) from table1

7.SQL数据查找不重复的记录

select distinct(text) from table1

8.SQL数据查找所有重复的记录

SELECT * FROM t_info a WHERE ((SELECT COUNT(*) FROM t_info WHERE Title = a.Title) > 1) ORDER BY Title DESC

(1)查找重复记录

①查找全部重复记录

Select * From 表 Where 重复字段 In (Select 重复字段 From 表 Group By 重复字段 Having Count(*)>1)

②过滤重复记录(只显示一条)

Select * From HZT Where ID In (Select Max(ID) From HZT Group By Title)

注：此处显示ID最大一条记录

(2)删除重复记录

①删除全部重复记录（慎用）

Delete 表 Where 重复字段 In (Select 重复字段 From 表 Group By 重复字段 Having Count(*)>1)

②保留一条（这个应该是大多数人所需要的 ^_^）

Delete HZT Where ID Not In (Select Max(ID) From HZT Group By Title)

注：此处保留ID最大一条记录

(3)查找表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断

select * from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1)

(4)删除表中多余的重复记录，重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的记录

delete from people where peopleId in (select peopleId from people group by peopleId having count(peopleId) > 1) and rowid not in (select min(rowid) from people group by peopleId having count(peopleId )>1)

(5)查找表中多余的重复记录（多个字段）

select * from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1)

(6)删除表中多余的重复记录（多个字段），只留有rowid最小的记录

delete from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)

(7)查找表中多余的重复记录（多个字段），不包含rowid最小的记录

select * from vitae a where (a.peopleId,a.seq) in (select peopleId,seq from vitae group by peopleId,seq having count(*) > 1) and rowid not in (select min(rowid) from vitae group by peopleId,seq having count(*)>1)

(8)补充：

有两个以上的重复记录，一是完全重复的记录，也即所有字段均重复的记录，二是部分关键字段重复的记录，比如Name字段重复，而其他字段不一定重复或都重复可以忽略。

①对于第一种重复，比较容易解决，使用

select distinct * from tableName

就可以得到无重复记录的结果集。

如果该表需要删除重复的记录（重复记录保留1条），可以按以下方法删除

select distinct * into #Tmp from tableName

drop table tableName

select * into tableName from #Tmp

drop table #Tmp

发生这种重复的原因是表设计不周产生的，增加唯一索引列即可解决。

②这类重复问题通常要求保留重复记录中的第一条记录，操作方法如下

假设有重复的字段为Name,Address，要求得到这两个字段唯一的结果集

select identity(int,1,1) as autoID, * into #Tmp from tableName

select min(autoID) as autoID into #Tmp2 from #Tmp group by Name,autoID

select * from #Tmp where autoID in(select autoID from #tmp2)

最后一个select即得到了Name，Address不重复的结果集（但多了一个autoID字段，实际写时可以写在select子句中省去此列）。