ITPUX技术网

交流 . 资讯 . 分享
Make progress together!
Linux操作系统下Oracle11g R2 RAC 安装配置教程
Oracle数据库培训-备份恢复-性能优化-集群容灾
Oracle数据库DBA高级工程师培训视频

MySQL压力测试工具简单教程--mysqlslap

内容发布:luashin| 发布时间:2017-6-8 19:54:59
MySQL压力测试工具简单教程--mysqlslap

MySQL从5.1.4版开始带有一个压力测试工具mysqlslap,通过模拟多个并发客户端访问mysql来执行测试,使用起来非常的简单。通过mysqlslap –help可以获得可用的选项,这里列一些主要的参数,更详细的说明参考官方手册。
-auto-generate-sql, -a
自动生成测试表和数据

-auto-generate-sql-load-type=type
测试语句的类型。取值包括:read,key,write,update和mixed(默认)。

-number-char-cols=N, -x N
自动生成的测试表中包含多少个字符类型的列,默认1

-number-int-cols=N, -y N
自动生成的测试表中包含多少个数字类型的列,默认1

-number-of-queries=N
总的测试查询次数(并发客户数×每客户查询次数)

-query=name,-q
使用自定义脚本执行测试,例如可以调用自定义的一个存储过程或者sql语句来执行测试。

-create-schema
测试的schema,MySQL中schema也就是database

-commint=N
多少条DML后提交一次

-compress, -C
如果服务器和客户端支持都压缩,则压缩信息传递

-concurrency=N, -c N
并发量,也就是模拟多少个客户端同时执行select。可指定多个值,以逗号或者–delimiter参数指定的值做为分隔符

-engine=engine_name, -e engine_name
创建测试表所使用的存储引擎,可指定多个

-iterations=N, -i N
测试执行的迭代次数

-detach=N
执行N条语句后断开重连

-debug-info, -T
打印内存和CPU的信息

-only-print
只打印测试语句而不实际执行

它的使用语法如下:
shell>/usr/local/mysql/bin/mysqlslap [options]

常用参数【options】详细介绍:
--concurrency代表并发数量,多个可以用逗号隔开。例如:--concurrency=50,200,500
--engines代表要测试的引擎,可以有多个,用分隔符隔开。例如:--engines=myisam,innodb,memory
--iterations代表要在不同并发环境下,各自运行测试多少次。
--auto-generate-sql 代表用mysqlslap工具自己生成的SQL脚本来测试并发压力。
--auto-generate-sql-add-auto-increment 代表对生成的表自动添加auto_increment列,从5.1.18版本开始,
--auto-generate-sql-load-type 代表要测试的环境是读操作还是写操作还是两者混合的(read,write,update,mixed)
--number-of-queries 代表总共要运行多少条查询。
--debug-info 代表要额外输出CPU以及内存的相关信息。
--number-int-cols 代表示例表中的INTEGER类型的属性有几个。
--number-char-cols代表示例表中的vachar类型的属性有几个。
--create-schema 代表自定义的测试库名称。
--query 代表自定义的测试SQL脚本。

说明:
测试的过程需要生成测试表,插入测试数据,这个mysqlslap可以自动生成,默认生成一个mysqlslap的schema,如果已经存在则先删除。可以用-only-print来打印实际的测试过程,整个测试完成后不会在数据库中留下痕迹。

实验步骤:
练习一:
单线程测试。测试做了什么。
>./bin/mysqlslap -a -uroot -p111111
多线程测试。使用--concurrency来模拟并发连接。
> ./bin/mysqlslap -a -c 100 -uroot -p111111
迭代测试。用于需要多次执行测试得到平均值。
> ./bin/mysqlslap -a -i 10 -uroot -p111111

练习二:
> ./bin/mysqlslap -auto-generate-sql-add-autoincrement -a -uroot -p111111
> ./bin/mysqlslap -a -auto-generate-sql-load-type=read -uroot -p111111
> ./bin/mysqlslap -a -auto-generate-secondary-indexes=3 -uroot -p111111
> ./bin/mysqlslap -a -auto-generate-sql-write-number=1000 -uroot -p111111

> ./bin/mysqlslap --create-schema world -q "select count(*) from City" -uroot -p111111
> ./bin/mysqlslap -a -e innodb -uroot -p111111
> ./bin/mysqlslap -a --number-of-queries=10 -uroot -p111111


练习三:
执行一次测试,分别50和100个并发,执行1000次总查询:
> ./bin/mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --debug-info -uroot -p111111

50和100个并发分别得到一次测试结果(Benchmark),并发数越多,执行完所有查询的时间越长。为了准确起见,可以多迭代测试几次:
> ./bin/mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --iterations=5 --debug-info -uroot -p111111

测试同时不同的存储引擎的性能进行对比:
>./bin/mysqlslap -a --concurrency=50,100 --number-of-queries 1000 --iterations=5 --engine=myisam,innodb --debug-info -uroot -p111111

Mysql中迅速插入上百万条记录测试数据

最近想到创建一个大量数据的测试环境,于是找了一下怎么插入100W条数据,我用的是20个字段。
对比一下,首先是用 mysql 的存储过程做的:
mysql> delimiter $
SET AUTOCOMMIT = 0$$
create  procedure test()
begin
declare i decimal (10)  default 0 ;
dd:loop      
INSERT INTO `million` (`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `add_date`, `picture_url`, `thumb_url`, `is_display_front`, `create_html_time`, `hit`, `buy_sum`, `athor`, `templete _style`, `is_hot`, `is_new`, `is_best`) VALUES
(268, 2, '0,262,268,', 0, '2342', '423423', '123123', '2012-01-09 09:55:43', 'upload/product/20111205153432_53211.jpg', 'upload/product/thumb_20111205153432_53211.jpg', 1, 0, 0, 0, 'admin', '0', 0, 0, 0);
commit;
set i = i+1;
if i= 1000000 then leave dd;
end if;
end loop dd ;
end;$
delimiter ;
call test;

结果
mysql> call test;
Query OK, 0 rows affected (58 min 30.83 sec)
非常耗时。

于是我又找了一个方法
先用PHP代码生成数据,再导入:
<?php
$t=mktime();
set_time_limit(1000);
$myFile="e:/insert.sql";
$fhandler=fopen($myFile,'wb');
if($fhandler){
              $sql="268\t2\t'0,262,268,'\t0\t '2342'\t'423423'\t'123123'\t'23423423'\t'2012-01-09 09:55:43'\t'upload/product/20111205153432_53211.jpg'\t'upload/product/thumb_20111205153432_53211.jpg'\tNULL\tNULL\t38\t'件'\t''\t123\t123\t0";
              $i=0;
while($i<1000000)//1,000,000
    {
     $i++;
     fwrite($fhandler,$sql."\r\n");
    }
echo"写入成功,耗时:",mktime()-$t;
}
然后再导入
LOAD DATA local INFILE 'e:/insert.sql' INTO TABLE  tenmillion(`categ_id`, `categ_fid`, `SortPath`, `address`, `p_identifier`, `pro_specification`, `name`, `description`, `add_date`, `picture_url`, `thumb_url`, `shop_url`, `shop_thumb_url`, `brand_id`, `unit`, `square_meters_unit`, `market_price`, `true_price`, `square_meters_price`);
注意字段不再以逗号分割,以\t分割,条记录以\r\n分割。结果我插入10次数据,100W平均只要1分钟搞定。
第二种方式mysql中间省略了很多中间步骤,导致插入速度远胜于第一种,具体的没有研究。

Mysql快速生成上百万条测试数据
由于测试需要,原表中只有1万条数据,现在随机复制插入记录,快速达到100万条。
itemid是主键。
运行几次下面代码。随机取1000条插入,
insert into downitems (chid,catid,softid,....)
SELECT chid,catid,softid...  FROM `downitems` WHERE itemid >= (SELECT floor(RAND() * (SELECT MAX(itemid) FROM `downitems`))) ORDER BY itemid LIMIT 1000;
然后可以修改1000的数字了。改为5000或者1万。很快可以达到100万的数据量了。

在进行hdwiki二次开发全文检索时需要大量的测试数据,多执行几次以下代码,就可以达到百万级别mysql记录。
注:LIMIT 100000数值可以随意更改,看服务器性能……
代码如下:
insert into wiki_doc (cid,letter,title,tag,summary,content,author,authorid,time,lastedit,lasteditor,lasteditorid,views,edits,editions,comments,votes,visible,locked)
SELECT cid,letter,title,tag,summary,content,author,authorid,time,lastedit,lasteditor,lasteditorid,views,edits,editions,comments,votes,visible,locked  FROM `wiki_doc` WHERE did >= (SELECT floor(RAND() * (SELECT MAX(did) FROM `wiki_doc`))) ORDER BY did LIMIT 100000;

Mysql动态生成测试数据
一、问题
要生成两类数据:
A类:两位数的数据 01 02 03 ... 09 10 11 ... 19 20 21 ... 98 99
B类:三位数的数据 100 101 102 ... 110 111 112 ... 998 999

二、解决办法
1、建表
CREATE TABLE `test`.`ta` (`a` varchar(45) NOT NULL) ENGINE=InnoDB DEFAULT CHARSET=utf8;
2、创建存储过程
DELIMITER $$
DROP PROCEDURE IF EXISTS `test`.`proc_tp` $$
CREATE DEFINER=`root`@`localhost` PROCEDURE `proc_tp`(in prex int,in max int)
begin
declare i INT DEFAULT 0;
declare s varchar(500);
WHILE (i<10 and prex<max) DO
select concat(prex,i) into s;
insert into ta (a) values (s);
set i=i+1;
if(i=10 and prex<max) then
set prex=prex+1;
set i=0;
end if;
END WHILE ;
end $$
DELIMITER ;

3、分别调用执行存储过程
CALL proc_tp(0,10) 创建A类数据
CALL proc_tp(10,100) 创建B类数据

4、查询结果
SELECT * FROM ta t order by cast(a as signed) asc;

本地生成mysql百万级别测试数据以及创建索引测试查询速度

首先,建表
1 CREATETABLE `test` (
2 `id` int(128) NOTNULL AUTO_INCREMENT,
3 `title` varchar(512) DEFAULTNULL,
4 `content` text,
5 `addtime` datetimeDEFAULTNULL,
6 PRIMARYKEY (`id`)
7 ) ENGINE=InnoDB DEFAULT CHARSET=utf8
然后是生成.sql文件
<?php
set_time_limit(0);
ini_set('memory_limit','1024M');
function genRandomString($len)
{
$chars = array(
"a", "b", "c", "d", "e", "f", "g", "h", "i", "j", "k",
"l", "m", "n", "o", "p", "q", "r", "s", "t", "u", "v",
"w", "x", "y", "z", "A", "B", "C", "D", "E", "F", "G",
"H", "I", "J", "K", "L", "M", "N", "O", "P", "Q", "R",
"S", "T", "U", "V", "W", "X", "Y", "Z", "0", "1", "2",
"3", "4", "5", "6", "7", "8", "9"
);
$charsLen = count($chars) - 1;
shuffle($chars); // 将数组打乱
$output = "";
for ($i=0; $i<$len; $i++)
{
$output .= $chars[mt_rand(0, $charsLen)];
}
return $output;
}
$sql = "INSERT INTO test (title,content,addtime) VALUES ";
for ($i=0;$i<=100000;$i++)
{
$title = genRandomString(mt_rand(1,512));
$content = genRandomString(mt_rand(1,512));
$now = date("Y-m-d h:i:s",time());
$sql.= "('$title','$content','$now'),";
}
$title = genRandomString(mt_rand(1,512));
$content = genRandomString(mt_rand(1,512));
$now = date("Y-m-d h:i:s",time());
$sql.= "('$title','$content','$now')";
$fp = fopen("D:\insert.sql","a");
fwrite($fp,$sql.';');
fclose($fp);
?>
经过测试,如果采用逐条的方式,1万条数据的插入时间,大概是227.246S,上面的方法,只需要0.940S,如果数据量增加到10W条,也仅需14.774S
由于本机配置不高,生成30W条时发生内存溢出错误,因而30W条数据的插入,无法做判断。
未创建索引前
mysql> select count(*) from test where title = "a";
mysql> select count(*) from test where title = "a";
那么,现在开始创建索引
ALTER TABLE test ADD INDEX index_title (title);
之后再次查询
mysql> select count(*) from test where title = "a";
mysql> select count(*) from test where title = "a";



上一篇:MySQL如何快速创建大量随机数据进行性能测试
下一篇:MySQL从库集群方案之HAProxy篇
回复

使用道具 举报

1框架
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

快速回复 返回顶部 返回列表