大数据量下的SQL Server数据库自身优化

博客园 发表于:13年01月22日 00:44 [转载] 51CTO

  • 分享:
[导读]在大数据量之下,部分数据库由于信息量很大,查询频繁。可以采取把一些表或者一些表中的部分记录分开存储在不同的数据文件里的方式进行优化。
 1.3 数据和日志文件分开存放在不同磁盘上 

  数据文件和日志文件的操作会产生大量的I/O。在可能的条件下,日志文件应该存放在一个与数据和索引所在的数据文件不同的硬盘上以分散I/O,同时还有利于数据库的灾难恢复。

优化②:表分区,索引分区 (优化①粗略的进行了表分区,优化②为精确数据分区)

为什么要表分区?

当一个表的数据量太大的时候,我们最想做的一件事是什么?将这个表一分为二或者更多分,但是表还是这个表,只是将其内容存储分开,这样读取就快了N倍了

原理:表数据是无法放在文件中的,但是文件组可以放在文件中,表可以放在文件组中,这样就间接实现了表数据存放在不同的文件中。能分区存储的还有:表、索引和大型对象数据 。

SQL SERVER 2005中,引入了表分区的概念, 当表中的数据量不断增大,查询数据的速度就会变慢,应用程序的性能就会下降,这时就应该考虑对表进行分区,当一个表里的数据很多时,可以将其分拆到多个的表里,因为要扫描的数据变得更少 ,查询可以更快地运行,这样操作大大提高了性能,表进行分区后,逻辑上表仍然是一张完整的表,只是将表中的数据在物理上存放到多个表空间(物理文件上),这样查询数据时,不至于每次都扫描整张表 

2.1什么时候使用分区表

1、表的大小超过2GB。 

2、表中包含历史数据,新的数据被增加到新的分区中。 

2.2表分区的优缺点 

表分区有以下优点: 

1、改善查询性能:对分区对象的查询可以仅搜索自己关心的分区,提高检索速度。 

2、增强可用性:如果表的某个分区出现故障,表在其他分区的数据仍然可用; 

3、维护方便:如果表的某个分区出现故障,需要修复数据,只修复该分区即可; 

4、均衡I/O:可以把不同的分区映射到磁盘以平衡I/O,改善整个系统性能。 

缺点: 

分区表相关:已经存在的表没有方法可以直接转化为分区表。不过 Oracle 提供了在线重定义表的功能。

2.3表分区的操作三步走

2.31 创建分区函数

CREATE PARTITION FUNCTION xx1(int)

AS RANGE LEFT FOR VALUES (10000, 20000);

注释:创建分区函数:myRangePF2,以INT类型分区,分三个区间,10000以内在A 区,1W-2W在B区,2W以上在C区.

2.3.2创建分区架构

CREATE PARTITION SCHEME myRangePS2

AS PARTITION xx1

TO (a, b, c);

注释:在分区函数XX1上创建分区架构:myRangePS2,分别为A,B,C三个区间

A,B,C分别为三个文件组的名称,而且必须三个NDF隶属于这三个组,文件所属文件组一旦创建就不能修改

2.3.3 对表进行分区

常用数据规范--数据空间类型修改为:分区方案,然后选择分区方案名称和分区列列表,结果如图所示:

也可以用sql语句生成

  1. CREATE TABLE [dbo].[AvCache](  
  2. [AVNote] [varchar](300) NULL
  3. [bb] [int] IDENTITY(1,1) 
  4. ON [myRangePS2](bb);  

--注意这里使用[myRangePS2]架构,根据bb分区

2.3.4查询表分区

SELECT *, $PARTITION.[myRangePF2](bb)  FROM dbo.AVCache 

这样就可以清楚的看到表数据是如何分区的了

2.3.5创建索引分区

[责任编辑:韩蕊]
Ruby
SAP分享了多年来对企业运营变革的洞察,以及SAP Business Suite powered by HANA如何推动企业在对业务影响最小的情况下向实时企业转型,从而帮助企业实现更睿智的业务创新、更快速的业务流程和更简化的业务交互。发布会现场,SAP公司宣布,中国最大的瓶装水生产商——农夫山泉成为基于 SAP HANA 的SAP Business Suite在中国的首家客户。
官方微信
weixin
精彩专题更多
存储风云榜”是由DOIT传媒主办的年度大型活动。回顾2014年,存储作为IT系统架构中最基础的元素,已经成为了推动信息产业发展的核心动力,存储产业的发展迈向成熟,数据经济的概念顺势而为的提出。
华为OceanStor V3系列存储系统是面向企业级应用的新一代统一存储产品。在功能、性能、效率、可靠性和易用性上都达到业界领先水平,很好的满足了大型数据库OLTP/OLAP、文件共享、云计算等各种应用下的数据存储需求。
联想携ThinkServer+System+七大行业解决方案惊艳第十六届高交会
 

公司简介 | 媒体优势 | 广告服务 | 客户寄语 | DOIT历程 | 诚聘英才 | 联系我们 | 会员注册 | 订阅中心

Copyright © 2013 DOIT Media, All rights Reserved. 北京楚科信息技术有限公司 版权所有.