Clickhouse on Colben Notes

ClickHouse 维护

Sat, 10 Oct 2020 01:30:00 +0800

指标

system.metrics: 正在执行的概要信息，如正在运行的查询和操作数量
system.events: 累积概要信息，如总的查询次数或 SELECT 次数
system.asynchronous_metrics: 后台异步运行的概要信息，如分配内存、队列中的人物数量

日志

system.query: 执行用户、查询语句、执行时间、返回数据量等信息

ClickHouse 集群

Fri, 09 Oct 2020 22:14:00 +0800

简介

一个集群包含多个逻辑分片，每个逻辑分片包含多个副本节点
向集群内读写数据时，需依赖 Distributed 引擎表做为代理，实现数据的分发、写入、查询和路由
ReplicatedMerge 表引擎配合 zookeeper 实现数据的复制

集群配置

节点分配

ClickHouse 数据查询

Thu, 08 Oct 2020 19:27:00 +0800

查询注意

避免使用 SELECT * 查询

WITH

WITH 子句只能返回一行数据
定义变量
1

WITH 10 AS var_name SELECT ...

调用函数

`1`	`WITH SUM(column_name) AS with_name SELECT ...`

定义子查询

WITH (
    SELECT ...
) AS with_name
SELECt ...

WITH 子句可在子查询中嵌套使用

ClickHouse 表引擎之 URL

Thu, 08 Oct 2020 19:16:00 +0800

URL 表引擎简介

http 客户端，支持 http 和 https 协议
SELECT 转换成 GET 请求
INSERT 转换成 POST 请求

创建 URL 表引擎

声明
1

ENGINE = URL('url', format)
url: 请求远端服务的 url
format: TSV、CSV、JSONEachRow

ClickHouse 表引擎之 Null

Thu, 08 Oct 2020 19:11:00 +0800

Null 表引擎简介

类似 /dev/null，忽略写入的任何数据，查询时返回空表
如果物化视图不需要保留源表数据，则可设置源表为 Null 引擎

创建 Null 表引擎

声明
1

ENGINE = Null

ClickHouse 视图之 Live View

Thu, 08 Oct 2020 19:05:00 +0800

Live View 视图简介

类似时间监听器

需设置 allow_experimental_live_view 为 1，检查

`1`	`SELECT name, value FROM system.settings WHERE name LIKE '%live_view%';`

创建 Live View 视图

创建

`1`	`CREATE LIVE VIEW lv_name AS SELECT count(*) FROM table_name;`

监听
1

WATCH lv_name

ClickHouse 表引擎之 Merge

Thu, 08 Oct 2020 18:35:00 +0800

Merge 表引擎简介

本身不存储数据，只整合其他数据表
不支持数据写入
合并异步查询的结果集
各异步查询的数据表需要在同一个数据库下，且表结构相同，表引擎和分区定义可不同

创建 Merge 表引擎

声明

ClickHouse 表引擎之日志

Thu, 08 Oct 2020 18:23:00 +0800

日志表引擎简介

数据量 100 万行一下，一次写入多次查询
不支持索引、分区、并发读写

TinyLog 表引擎

数据文件按列存储
无标记文件，不支持并行读取
声明
1

ENGINE = TinyLog()

StripeLog 表引擎

只用数据写入一个文件
有数据标记文件，可并行读取
声明
1

ENGINE = StripeLog()

Log 表引擎

数据文件按列存储
有数据标记文件，可并行读取
声明
1

ENGINE = Log()

ClickHouse 表引擎之 Buffer

Thu, 08 Oct 2020 18:08:00 +0800

Buffer 表引擎简介

只写内存，无持久化存储
缓冲高并发写入，满足条件时，Buffer 表会把数据刷新到目标表

创建 Join 引擎表

声明

ENGINE = Buffer(
    database,
    table,
    num_layers,
    min_time,
    max_time,
    min_rows,
    max_rows,
    min_bytes,
    max_bytes
)

database: 目标表所在数据库

ClickHouse 表引擎之 Join

Thu, 08 Oct 2020 17:40:00 +0800

Join 表引擎简介

数据先写内存，再同步到磁盘，服务重启后全量加载到内存
与 Set 表引擎共用大部分处理逻辑
简单封装了一层 JOIN 查询，主要用做 JOIN 查询

创建 Join 引擎表

声明

ClickHouse 表引擎之 Set

Thu, 08 Oct 2020 17:04:00 +0800

Set 表引擎简介

数据先写内存，再同步到磁盘，服务重启后全量加载到内存
支持 INSERT，写入时，重复数据被忽略
不能直接 SELECT，只能作为 IN 查询的右侧条件

创建 Set 引擎表

声明
1

ENGINE = Set()

使用

创建 Set 引擎表
INSERT 写入数据

查询

`1`	`SELECT arrayJoin([1,2,3]) AS a WHERE a IN set_table;`

ClickHouse 表引擎之 Memory

Thu, 08 Oct 2020 13:00:00 +0800

Memory 表引擎简介

数据只存于内存中，无压缩，无格式转换
支持并行查询
一般用于 clickhouse 内部，作为集群间分发数据的载体

创建 Memory 引擎表

声明
1

ENGINE = Memory()

ClickHouse 表引擎之 File

Thu, 08 Oct 2020 12:00:00 +0800

File 表引擎简介

直接读取本地文件
修改文件 = 数据更新
导出数据到本地文件
数据格式转换

创建 FILE 引擎表

声明
1

ENGINE = File('format')
format 是文件中的数据格式，如 TSV、CSV 和 JSONEachRow 等

ClickHouse 表引擎之 Kafka

Thu, 08 Oct 2020 10:42:00 +0800

Kafka 表引擎简介

对接 Kafka 系统，订阅 Kafka 主题，接收消息

创建 Kafka 引擎表

声明

ENGINE = Kafka()
SETTINGS
    kafka_broker_list = 'host:port, ...',
    kafka_topic_list = 'topic1, topic2, ...',
    kafka_group_name = 'consumer_group_name',
    kafka_format = 'data_format',
    [kafka_row_delimiter = 'delimiter_symbol',]
    [kafka_schema = '',]
    [kafka_num_consumers = N,]
    [kafka_skip_broken_messages = N,]
    [kafka_commit_every_batch =N];

kafka_broker_list: kafka 节点地址列表，用逗号分隔

ClickHouse 表引擎之 MySQL

Thu, 08 Oct 2020 10:15:00 +0800

MySQL 表引擎简介

可以与 MySQL 数据库中的表建立映射
只支持 SELECT 和 INSERT，不支持 UPDATE 和 DELETE

创建 MySQL 引擎表

声明

ENGINE = MySQL(
    'host:port',
    'database',
    'table',
    'user',
    'password'
    [,
        replace_query,
        'on_duplicate_clause'
    ]
)

host:port: mysql 的地址和端口

ClickHouse 表引擎之 MergeTree(合并树)

Tue, 06 Oct 2020 19:55:00 +0800

简介

支持主键索引、数据分区、数据副本、数据采样、ALTER 操作
扩展表引擎丰富，生产环境中大多使用该表引擎
数据以片段形式写入磁盘，后台定期合并片段到各分区相应片段

数据表

建表语句

ClickHouse 数据字典

Wed, 23 Sep 2020 13:30:00 +0800

简介

常驻内存，支持动态更新
适合保存常量和经常使用的维度表数据
可通过字典函数访问，也可通过袋里表与其他数据表实现 JOIN 查询

内置字典

默认禁用
不想写了，没啥意思

外部扩展字典

配置文件

位置: /etc/clickhouse-server/*_dictionary.xml
自动感知变更，不停机在线更新
系统表: system.dictionaries

配置结构

<?xml version="1.0"?>
<dictionaries>
  <dictionary>
    <!-- 字典名称，全局唯一 -->
    <name>dict_name</name>

    <!-- 字典数据结构 -->
    <structure>
      <!-- 数值 key，UInt64，支持字典类型: flat、hashed、range_hashed、cache -->
      <id>
        <name>field_name</name>
      <id>

      <!-- 复合 key，Tuple，类似复合主键，支持字典类型: complex_key_hashed、complex_key_cache -->
      <key>
        <attribute>
          <name>field_name</name>
          <type>field_type</type>
        </attribute>
        <attribute>
          ...
        </attribute>
      </key>

      <!-- 字符串 key，String，支持字典类型: ip_trie -->
      <key>
        <attribute>
          <name>field_name</name>
          <type>String</type>
        </attribute>
      </key>

      <!-- 只在 range_hashed 字典类型中使用 -->
      <range_min>
        <name>field_name</name>
      </range_min>
      <range_max>
        <name>field_name</name>
      </range_max>

      <!-- 字典属性 -->
      <attribute>
        <!-- 字段名称，必填 -->
        <name>field_name</name>

        <!-- 字段类型，必填 -->
        <type>field_type</type>

        <!-- 查询时，key 无对应字段时的默认值，必填，这里指定的是空字符串 -->
        <null_value></null_value>

        <!-- 函数或运算符表达式，非必填，默认无表达式 -->
        <expression></expression>

        <!-- 是否支持层次结构，非必填，默认 false -->
        <hierarchical>false</hierarchical>

        <!-- 是否支持单射优化，非必填，默认 false -->
        <injective>false</injective>

        <!-- 是否开启 MongoDB 优化，非必填，默认 false -->
        <is_object_id>false</is_object_id>
      </attribute>
    </structure>

    <!-- 在内存中的数据格式类型 -->
    <layout>
      <!-- 性能最高，只能用数值 key，数组结构保存，初始容量 1024，上限 500000
        支持数据源: Local file、Executable file、HTTP、DBMS -->
      <flat/>

      <!-- 只能用数值 key，散列结构保存，无存储上限
        支持数据源: Local file、Executable file、HTTP、DBMS -->
      <hashed/>

      <!-- 只能用数值 key，散列结构保存并按时间排序，无存储上限
        range_min 和 range_max 指定时间区间字段，且字段必须是 Date 或 DateTime 类型
        支持数据源: Local file、Executable file、HTTP、DBMS -->
      <range_hashed/>

      <!-- 只能用数值 key，固定大小(size_in_cells)数组存储
        cells 数组未缓存的数据在查询时才会加载并缓存到 cells 中，性能不稳定
        支持数据源: Executable file、HTTP、ClickHouse、MySQL -->
      <cache>
        <!-- 缓存大小，视内存而定 -->
        <size_in_cells>16384</size_in_cells>
      </cache>

      <!-- 只能用复合 key，其他与 hashed 一样 -->
      <complex_key_hashed/>

      <!-- 只能用复合 key，其他与 cache 一样 -->
      <complex_key_cache>
        <size_in_cells>16384</size_in_cells>
      </complex_key_cache>

      <!-- 只能用单个 String 字段，trie 树结构，专用语 IP 前缀查询
        支持数据源: Local file、Executable file、HTTP、DBMS -->
      <ip_trie/>
    </layout>

    <!-- 数据源 -->
    <source>
      <!-- 本地文件，如果文件修改时间出现变动，会出发数据更新 -->
      <file>
        <path>/path/to/data.csv</path>
        <format>CSV</format>
      </file>

      <!-- 可执行文件，如果文件修改时间出现变动，会出发数据更新 -->
      <executable>
        <command>cat /path/to/data.csv</command>
        <format>CSV</format>
      </executable>

      <!-- 远程文件，支持 http 和 https 协议，post 请求，如果文件修改时间出现变动，会出发数据更新 -->
      <http>
        <url>http://192.168.1.2:9080/data.csv</url>
        <format>CSV</format>
      </http>

      <!-- mysql -->
      <mysql>
        <user>root</root>
        <password>123456<password>
        <replica>
          <host>192.168.1.3</host>
          <priority>1</priority>
        </replica>
        <port>3306</port>
        <db>db_name</db>
        <table>table_name</table>

        <!-- 查询过滤条件，非必填 -->
        <where>id=1</where>

        <!-- 指定一条 sql 语句，如果返回结果和上一次不一样，则更新，非必填 -->
        <invalidate_query>sql</invalidate_query>
      </mysql>

      <!-- clickhouse -->
      <clickhouse>
        <user>default</root>
        <password><password>
        <host>192.168.1.4</host>
        <port>9000</port>
        <db>default</db>
        <table>table_name</table>
        <where>id=1</where>
        <invalidate_query>sql</invalidate_query>
      </clickhouse>

      <!-- mongodb -->
      <mongodb>
        <user></root>
        <password><password>
        <host>192.168.1.5</host>
        <port>27017</port>
        <db>db_name</db>
        <colection>collection_name</collection>
      </mongodb>

      <!-- odbc 连接其他数据库 ... -->
    </source>

    <!-- 字典自动更新频率，单位秒，min 和 max 都是 0 表示禁用更新
      在 cache 字典中还代表缓存失效时间
      字典更新时旧版本依旧提供服务，新版本完全更新成功后才会替代就版本 -->
    <lifetime>
      <min>300</min>
      <max>360</max>
    </lifetime>
  </dictionary>
  <dictionary>
      ...
  </dictionary>
</dictionaries>

操作

手动更新全部数据字典

ClickHouse 数据定义

Wed, 23 Sep 2020 12:00:00 +0800

基础类型

整数

声明	大小(字节)	范围
Int8	1	-128 到 127
UInt8	1	0 到 255
Int16	2	-32768 到 32767
UInt16	2	0 到 65535
Int32	4	-2147483648 到 2147483647
UInt32	4	0 到 4294967295
Int64	8	-9223372036854775808 到 9223372036854775807
UInt64	8	0 到 18446744073709551615

浮点数

声明	大小(字节)	有效精度(位数)
Float32	4	7
Float64	8	16

正无穷: SELECT 0.8/0
负无穷: SELECT -0.8/0
非数字: SELECT 0/0

定点数

原生声明: Decimal(P,S)

CentOS7 安装 ClickHouse 集群

Wed, 23 Sep 2020 10:18:00 +0800

环境

Zookeeper 服务器

eth0 IP	eth1 IP	操作系统	ZK 版本	myid
10.0.4.101	10.1.4.101	CentOS7.8	3.4.14	101
10.0.4.102	10.1.4.102	CentOS7.8	3.4.14	102
10.0.4.103	10.1.4.103	CentOS7.8	3.4.14	103

eth0 网卡用于向客户端提供服务，eth1 网卡用于 Zookeeper 集群内部通信
配置时间同步，关闭 selinux 和 firewalld

ClickHouse 服务器

eth0 IP	eth1 IP	操作系统	CH 版本	shard 值	replica 值
10.0.4.181	10.1.4.181	CentOS7.8	20.3 LTS	1	10.1.4.181
10.0.4.182	10.1.4.182	CentOS7.8	20.3 LTS	1	10.1.4.182
10.0.4.183	10.1.4.183	CentOS7.8	20.3 LTS	2	10.1.4.183
10.0.4.184	10.1.4.184	CentOS7.8	20.3 LTS	2	10.1.4.184
10.0.4.185	10.1.4.185	CentOS7.8	20.3 LTS	3	10.1.4.185
10.0.4.186	10.1.4.186	CentOS7.8	20.3 LTS	3	10.1.4.186

eth0 网卡用于向客户端提供服务，eth1 网卡用于 ClickHouse 集群内部通信
配置时间同步，关闭 selinux 和 firewalld

Clickhouse on Colben Notes

ClickHouse 维护

指标

日志

ClickHouse 集群

简介

集群配置

ClickHouse 数据查询

查询注意

WITH

ClickHouse 表引擎之 URL

URL 表引擎简介

创建 URL 表引擎

ClickHouse 表引擎之 Null

Null 表引擎简介

创建 Null 表引擎

ClickHouse 视图之 Live View

Live View 视图简介

创建 Live View 视图

ClickHouse 表引擎之 Merge

Merge 表引擎简介

创建 Merge 表引擎

ClickHouse 表引擎之日志

日志表引擎简介

TinyLog 表引擎

StripeLog 表引擎

Log 表引擎

ClickHouse 表引擎之 Buffer

Buffer 表引擎简介

创建 Join 引擎表

ClickHouse 表引擎之 Join

Join 表引擎简介

创建 Join 引擎表

ClickHouse 表引擎之 Set

Set 表引擎简介

创建 Set 引擎表

使用

ClickHouse 表引擎之 Memory

Memory 表引擎简介

创建 Memory 引擎表

ClickHouse 表引擎之 File

File 表引擎简介

创建 FILE 引擎表

ClickHouse 表引擎之 Kafka

Kafka 表引擎简介

创建 Kafka 引擎表

ClickHouse 表引擎之 MySQL

MySQL 表引擎简介

创建 MySQL 引擎表

ClickHouse 表引擎之 MergeTree(合并树)

简介

数据表

ClickHouse 数据字典

简介

内置字典

外部扩展字典

配置文件

操作

ClickHouse 数据定义

基础类型

整数

浮点数

定点数

CentOS7 安装 ClickHouse 集群

环境

Zookeeper 服务器

ClickHouse 服务器

安装 Zookeeper 集群

安装 ClickHouse 集群

配置 ClickHouse yum 源