图片 2

mysql 开发进阶篇系列 21 磁盘I/O问题(RAID)

二 .磁盘阵列

       RAID是 Redundant array of inexpensive
disks的缩写,通常叫磁盘阵列。
RAID就是按照一定策略将数据分布到若干物理磁盘上,这样不仅增强了数据存储的可靠性,而且可以提高数据读写的整体性能,因为能过分布实现了数据的”并行”读写。

  常见的RAID级别比较如下图所示:
    图片 1

  2.1 如何选择RAID级别

             
了解各种RAID级别的特性后,我们就可以根据数据读写的特点,可靠性要求,以及投资预算等来选择合适的RAID级别比如:

              (1) 数据读写都很频繁,可靠性要求也很高,最好选择RAID 10。

              (2)
数据读很频繁,写相对较少,对可靠性有一定要求,可以选择RAID 5。

              (3) 数据读写都很频繁,可靠性要求也很不高,最好选择RAID 0。

  2.3 软RAID和硬 RAID

             
最初,RAID都是由硬件实现的,要使用RAID,至少需要有一个RAID卡。现在一些操作系统中提供的软件包,也模拟实现了一些RAID特性,虽然性能上不如硬RAID,但相比单个磁盘,性能和可靠性都有改善。
  RAID卡如下图所示:
图片 2

  关于软RAID,这篇中有介绍:

   转载来源 Windows Server 2008
R2做软RAID实战文章
  

  总结:现在公司一般都是用硬RAID。以我们公司来说是用RAID
10,也就是RAID 1+ RAID 0组合。    

mysql学习记录(二十一)–调整linuxI/O以提高mysql运行效率

一、概念:
1.使用磁盘阵列
RAID译成中文为“廉价磁盘冗余阵列”。简称“磁盘阵列”
2.常见raid级别:
a.raid 0:条带化,将数据依次分布
b.raid
1:磁盘镜像,两个磁盘一组,写入时两个一起写入,读时从任意一个磁盘读
c.raid 10:先做磁盘镜像又做条带化,既有raid 1的可靠性和raid
0的优良并发性能
d.raid 4:像raid
0一样对磁盘组条带化,另需要加一个磁盘用来写各Stripe的校验纠错数据
e.raid
5:将每一个条带的校验纠错数据块也分别写到各个磁盘,各不是写到一个特定的磁盘
3.选择raid级别:
a.读写频繁,可靠性要求高,raid 10
b.读频繁而写较少,对可靠性有一定要求,raid 5
c.读写频繁,可靠性要求不高,rand 0
4.虚拟文件卷或软raid
a.linux下的逻辑卷系统lvm2,支持条带化
b.linux下的md驱动,支持raid 0,raid 1,raid 4,raid 5,raid 6
5.使用symbolic links分布I/O
a.可以利用操作系统的符号连接将不同的数据库、表或索引指向不同的物理磁盘,从而达到分布磁盘I/O的目的
b.将一个数据库指向其他物理磁盘
c.将MyISAM(其他存储引擎的表不支持)表的数据文件或索引文件指向其他物理磁盘
1)对于新建的表可以在create table中增加data directory和index directory
2)对于已有的表可以将数据文件或索引文件转移到目标磁盘,但表定义文件必须位于mysql数据文件目录下,不能用符号连接
6.禁止操作系统更新文件的atime属性
7.调整I/O调度算法:
a.NOOP算法:不对I/O请求排序,更适合随机设备。
b.最后期限算法:当系统存在大量顺序请求的时候,Deadline可能导致请求无法被很好的排序,引发频繁寻道。
c.预期算法:基于预测的I/O算法,适合写入较多的环境,不适合Mysql等随机读取较多的数据库环境
d.完全公平队列:将I/O请求按照进程分别放入进程对应的队列中。CFQ以时间片算法为前提,轮转调动队列
8.RAID卡电池充放电问题:
a.raid卡电池会自动充放电
9.RAID卡缓存策略:
10.RAID卡电池充放电带来的I/O性能波动
a.根据raid卡电池下次充放电的时间,定期在业务量较低的时候,提前进行充放电。
b.设置Forced WriteBack写策略,此时一定要有UPS之类的后备电源
11.NUMA架构优化:
a.多处理器结婚(SMP):对此进行扩展的方法有增加内存、使用更快的CPU、增加CPU、扩充I/O、增加更多的磁盘
b.SMP架构导致在扩展能力上被限制,NUMA架构出现了。NUMA把一台计算机分成多个节点,每个节点内部拥有多个CPU,节点内部使用共有的内存控制器,节点之间是通过互联模块进行连接和信息交互
c.NUMA的内存分配策略有以下4种:
1)缺省:总是在本地节点分配
2)绑定:强制分配到指定节点上
3)交叉:在所有节点或者指定节点上交叉分配内存
4)优先:在指定节点上分配,失败则在其他节点上分配
d.若单机只运行一个mysql实例,可以选择关闭NUMA
1)在BIOS中设置关闭
2)在/etc/grub.conf的kernel行追加numa = off
二、实践:
[email protected]:~$
dmesg | grep -i scheduler
[ 1.124750] io scheduler noop registered
[ 1.124754] io scheduler deadline registered (default)
[ 1.124837] io scheduler cfq registered
[email protected]:~$
more /sys/block/sda/queue/scheduler

noop [deadline] cfq

备注:由于各种原因,其他本节相关实验等过段时间再做。

http://www.bkjia.com/Mysql/1067864.htmlwww.bkjia.comtruehttp://www.bkjia.com/Mysql/1067864.htmlTechArticlemysql学习记录(二十一)–调整linuxI/O以提高mysql运行效率
一、概念: 1.使用磁盘阵列 RAID译成中文为廉价磁盘冗余阵列。简称磁盘阵列
2.常…

一.概述

  作为应用系统的持久化层,不管数据库采取了什么样的Cache机制,数据库最终总是要将数据储存到可以长久保存的I/O设备磁盘上。但磁盘的存取速度显然要比cpu,ram的速度慢很多。因此,对于比较大的数据库,磁盘I/0
一般总会总为数据库的一个性能瓶颈。
  ram:又称作“随机存储器”,是与CPU直接交换数据的内部存储器,也叫主存(内存)。它可以随时读写,而且速度很快,通常作为操作系统或其他正在运行中的程序的临时数据存储媒介。
  我们章节前面提到的sql优化,数据库对象优化,数据库参数优化,以及应用程序优化等。大部分都是想通过减少或延缓磁盘读写来减轻磁盘I/O的压力及对性能的影响。本章从硬件方面出发,描述下磁盘陈列(RAID),从等更底层的方面来介绍提高磁盘I/O能力。