指标：统计dble中的事务、后端节点执行sql的(CRUD)次数、耗时、以及返回的行数(或影响行数)
维度：业务端下发的sql、dble内部下发至后端节点的sql
性能：当开启此功能后会存在5%～15%的性能下降(不同场景，性能下降比例不同)；影响性能因素有：并发数、表的分片数、复杂查询、query返回行数、statisticQueueSize
可视化建议：将数据吐给类似prometheus的第三方监控工具，这样比直接使用dble统计表格更加直观
# 开启statistic的开关，默认关闭；0-关闭，1-开启
#-DenableStatistic=1
# 统计表的大小，默认1024
#-DassociateTablesByEntryByUserTableSize=1024
#-DfrontendByBackendByEntryByUserTableSize=1024
#-DtableByUserByEntryTableSize=1024
# 内部实现机制用到的队列大小，值必须为2的次方，默认4096
#-DstatisticQueueSize=4096
# 采样率，默认为0即关闭，采样率是[0,100]之间的整数，单位是 %。
#-DsamplingRate=0
# sql_log 表格大小
#-DsqlLogTableSize=1024
查询statistic的开关、表格大小
show @@statistic;
+-----------------------------------------+-------+
| NAME | VALUE |
+-----------------------------------------+-------+
| statistic | OFF |
| associateTablesByEntryByUserTableSize | 1024 |
| frontendByBackendByEntryByUserTableSize | 1024 |
| tableByUserByEntryTableSize | 1024 |
| samplingRate | 0 |
| sqlLogTableSize | 1024 |
| queueMonitor | monitoring |
+-----------------------------------------+-------+
6 rows in set (0.01 sec)
关闭sql全量统计
disable @@statistic;
Query OK, 1 row affected (0.01 sec)
开启sql全量统计
enable @@statistic;
Query OK, 1 row affected (4.26 sec)
2.28.3.4 reload @@statistic_table_size = ? [where table='?' | where table in (dble_information.tableA,...)]
重置统计表的大小
reload @@statistic_table_size = 90;
Query OK, 1 row affected (0.02 sec)
reload @@statistic_table_size = 90 where table = 'sql_statistic_by_table_by_user_by_entry';
Query OK, 1 row affected (0.02 sec)
reload @@statistic_table_size = 90 where table in(sql_statistic_by_table_by_user_by_entry,sql_statistic_by_associate_tables_by_entry_by_user);
Query OK, 1 row affected (0.02 sec)
reload @@statistic_table_size = 90 where table = 'sql_log';
Query OK, 1 row affected (0.02 sec)
设置采样统计率(等于0表示关闭采样统计)
reload @@samplingRate=90;
Query OK, 1 row affected (0.01 sec)
采样统计:
sql_log
sql_log_by_digest_by_entry_by_user (sql_log表的视图)
sql_log_by_tx_by_entry_by_user (sql_log表的视图)
sql_log_by_tx_digest_by_entry_by_user (sql_log表的视图)
全量统计:
sql_statistic_by_frontend_by_backend_by_entry_by_user
sql_statistic_by_table_by_user_by_entry
sql_statistic_by_associate_tables_by_entry_by_user
以上表(非视图)都支持truncate命令
以业务端执行的事务(非事务查询算单语句事务)为单位同步将收集的数据流入统计表中.
sharding:
- 由dble层面解析表或数据库不存在等报错sql，一律不参与统计
- explain、explain2语句不参与统计
- 手动执行exit(隐式rollback)参与统计
rwsplit:
- sql报1064错误码，不参与统计
- 执行multi-query(指一次执行多个sql,mysql client可使用delimiter关键字实现)，multi-query将会直接透传至后端节点，这里会被视作为事务级sql(如commit)，参与统计
开始观测，同时可设置观测总时长observeTime和采样间隔intervalTime(单位:s,m/min,h)
start @@statistic_queue_monitor; -- 使用默认值observeTime为1min，intervalTime为5s
start @@statistic_queue_monitor observeTime = 2min; -- observeTime为2min，intervalTime使用默认值5s
start @@statistic_queue_monitor observeTime = 2min and intervalTime = 10s; -- observeTime为2min，intervalTime为10s
停止观测
stop @@statistic_queue_monitor";
查看队列的使用率情况列表(观测期间，每次查询结果递增)
show @@statistic_queue.usage;
+---------------------+-------+
| TIME | USAGE |
+---------------------+-------+
| 2021-05-31 16:33:30 | 0.00% |
| 2021-05-31 16:33:35 | 0.00% |
| 2021-05-31 16:33:40 | 0.00% |
+---------------------+-------+
3 rows in set (0.01 sec)
TIME：采样时间点
USAGE：使用率
清空使用率情况列表
drop @@statistic_queue.usage;
1、统计队列在被观测情况下(show @@statistic中的queueMonitor对应值为monitoring)，执行关闭所有统计功能后(statistic为OFF且samplingRate为0)时，则观测会被中断.
2、在未开启任意统计时，执行start @@statistic_queue_monitor报错.
3、每次执行start @@statistic_queue_monitor，都会先清空使用率情况列表.
4、使用率情况列表中的数据以软引用(SoftReference)方式作为缓存方式；意味着：当jvm内存不足时，列表中的数据会被回收(现象：列表的数据量变少).
5、查看统计队列大小(statisticQueueSize)，管理端中执行select * from dble_variables where variable_name='statisticQueueSize'.
6、统计队列大小(statisticQueueSize)值不支持动态改动；在bootstrap.cnf中调整其值后，需要重启dble才能生效.