diff --git a/etcd/README.md b/etcd/README.md index bacd48a..08f6815 100644 --- a/etcd/README.md +++ b/etcd/README.md @@ -1,3 +1,3 @@ # etcd -etcd 是 CoreOS 团队发起的一个管理配置信息和服务发现（service discovery）的项目，在这一章里面，我们将介绍该项目的目标，安装和使用，以及实现的技术。 +etcd 是 CoreOS 团队发起的一个管理配置信息和服务发现（`Service Discovery`）的项目，在这一章里面，我们将基于 `etcd 3.x` 版本介绍该项目的目标，安装和使用，以及实现的技术。 diff --git a/etcd/cluster.md b/etcd/cluster.md new file mode 100644 index 0000000..bf522a2 --- /dev/null +++ b/etcd/cluster.md @@ -0,0 +1,129 @@ +## etcd 集群 + +下面我们使用 [Docker Compose](../compose/) 模拟启动一个 3 节点的 etcd 集群。 + +编辑 `docker-compose.yml` 文件 + +```yaml +version: "3" +services: + + node1: + image: quay.io/coreos/etcd + volumes: + - node1-data:/etcd-data + expose: + - 2379 + - 2380 + networks: + cluster_net: + ipv4_address: 172.16.238.100 + environment: + - ETCDCTL_API=3 + command: + - /usr/local/bin/etcd + - --data-dir=/etcd-data + - --name + - node1 + - --initial-advertise-peer-urls + - http://172.16.238.100:2380 + - --listen-peer-urls + - http://0.0.0.0:2380 + - --advertise-client-urls + - http://172.16.238.100:2379 + - --listen-client-urls + - http://0.0.0.0:2379 + - --initial-cluster + - node1=http://172.16.238.100:2380,node2=http://172.16.238.101:2380,node3=http://172.16.238.102:2380 + - --initial-cluster-state + - new + - --initial-cluster-token + - docker-etcd + + node2: + image: quay.io/coreos/etcd + volumes: + - node2-data:/etcd-data + networks: + cluster_net: + ipv4_address: 172.16.238.101 + environment: + - ETCDCTL_API=3 + expose: + - 2379 + - 2380 + command: + - /usr/local/bin/etcd + - --data-dir=/etcd-data + - --name + - node2 + - --initial-advertise-peer-urls + - http://172.16.238.101:2380 + - --listen-peer-urls + - http://0.0.0.0:2380 + - --advertise-client-urls + - http://172.16.238.101:2379 + - --listen-client-urls + - http://0.0.0.0:2379 + - --initial-cluster + - node1=http://172.16.238.100:2380,node2=http://172.16.238.101:2380,node3=http://172.16.238.102:2380 + - --initial-cluster-state + - new + - --initial-cluster-token + - docker-etcd + + node3: + image: quay.io/coreos/etcd + volumes: + - node3-data:/etcd-data + networks: + cluster_net: + ipv4_address: 172.16.238.102 + environment: + - ETCDCTL_API=3 + expose: + - 2379 + - 2380 + command: + - /usr/local/bin/etcd + - --data-dir=/etcd-data + - --name + - node3 + - --initial-advertise-peer-urls + - http://172.16.238.102:2380 + - --listen-peer-urls + - http://0.0.0.0:2380 + - --advertise-client-urls + - http://172.16.238.102:2379 + - --listen-client-urls + - http://0.0.0.0:2379 + - --initial-cluster + - node1=http://172.16.238.100:2380,node2=http://172.16.238.101:2380,node3=http://172.16.238.102:2380 + - --initial-cluster-state + - new + - --initial-cluster-token + - docker-etcd + +volumes: + node1-data: + node2-data: + node3-data: + +networks: + cluster_net: + driver: bridge + ipam: + driver: default + config: + - + subnet: 172.16.238.0/24 +``` + +使用 `docker exec` 命令登录到任一节点测试 etcd 集群。 + +```bash +/ # etcdctl member list +daf3fd52e3583ff, started, node3, http://172.16.238.102:2380, http://172.16.238.102:2379 +422a74f03b622fef, started, node1, http://172.16.238.100:2380, http://172.16.238.100:2379 +ed635d2a2dbef43d, started, node2, http://172.16.238.101:2380, http://172.16.238.101:2379 +``` diff --git a/etcd/demo/cluster/docker-compose.yml b/etcd/demo/cluster/docker-compose.yml new file mode 100644 index 0000000..7d35acd --- /dev/null +++ b/etcd/demo/cluster/docker-compose.yml @@ -0,0 +1,112 @@ +version: "3" +services: + + node1: + image: quay.io/coreos/etcd + volumes: + - node1-data:/etcd-data + expose: + - 2379 + - 2380 + networks: + cluster_net: + ipv4_address: 172.16.238.100 + environment: + - ETCDCTL_API=3 + command: + - /usr/local/bin/etcd + - --data-dir=/etcd-data + - --name + - node1 + - --initial-advertise-peer-urls + - http://172.16.238.100:2380 + - --listen-peer-urls + - http://0.0.0.0:2380 + - --advertise-client-urls + - http://172.16.238.100:2379 + - --listen-client-urls + - http://0.0.0.0:2379 + - --initial-cluster + - node1=http://172.16.238.100:2380,node2=http://172.16.238.101:2380,node3=http://172.16.238.102:2380 + - --initial-cluster-state + - new + - --initial-cluster-token + - docker-etcd + + node2: + image: quay.io/coreos/etcd + volumes: + - node2-data:/etcd-data + networks: + cluster_net: + ipv4_address: 172.16.238.101 + environment: + - ETCDCTL_API=3 + expose: + - 2379 + - 2380 + command: + - /usr/local/bin/etcd + - --data-dir=/etcd-data + - --name + - node2 + - --initial-advertise-peer-urls + - http://172.16.238.101:2380 + - --listen-peer-urls + - http://0.0.0.0:2380 + - --advertise-client-urls + - http://172.16.238.101:2379 + - --listen-client-urls + - http://0.0.0.0:2379 + - --initial-cluster + - node1=http://172.16.238.100:2380,node2=http://172.16.238.101:2380,node3=http://172.16.238.102:2380 + - --initial-cluster-state + - new + - --initial-cluster-token + - docker-etcd + + node3: + image: quay.io/coreos/etcd + volumes: + - node3-data:/etcd-data + networks: + cluster_net: + ipv4_address: 172.16.238.102 + environment: + - ETCDCTL_API=3 + expose: + - 2379 + - 2380 + command: + - /usr/local/bin/etcd + - --data-dir=/etcd-data + - --name + - node3 + - --initial-advertise-peer-urls + - http://172.16.238.102:2380 + - --listen-peer-urls + - http://0.0.0.0:2380 + - --advertise-client-urls + - http://172.16.238.102:2379 + - --listen-client-urls + - http://0.0.0.0:2379 + - --initial-cluster + - node1=http://172.16.238.100:2380,node2=http://172.16.238.101:2380,node3=http://172.16.238.102:2380 + - --initial-cluster-state + - new + - --initial-cluster-token + - docker-etcd + +volumes: + node1-data: + node2-data: + node3-data: + +networks: + cluster_net: + driver: bridge + ipam: + driver: default + config: + - + subnet: 172.16.238.0/24 diff --git a/etcd/etcdctl-v2.md b/etcd/etcdctl-v2.md new file mode 100644 index 0000000..904fc49 --- /dev/null +++ b/etcd/etcdctl-v2.md @@ -0,0 +1,281 @@ +## 使用 etcdctl v2 + +`etcdctl` 是一个命令行客户端，它能提供一些简洁的命令，供用户直接跟 `etcd` 服务打交道，而无需基于 `HTTP API` 方式。这在某些情况下将很方便，例如用户对服务进行测试或者手动修改数据库内容。我们也推荐在刚接触 `etcd` 时通过 `etcdctl` 命令来熟悉相关的操作，这些操作跟 `HTTP API` 实际上是对应的。 + +`etcd` 项目二进制发行包中已经包含了 `etcdctl` 工具，没有的话，可以从 [github.com/coreos/etcd/releases](https://github.com/coreos/etcd/releases) 下载。 + +`etcdctl` 支持如下的命令，大体上分为数据库操作和非数据库操作两类，后面将分别进行解释。 + +``` +$ etcdctl -h +NAME: + etcdctl - A simple command line client for etcd. + +USAGE: + etcdctl [global options] command [command options] [arguments...] + +VERSION: + 2.0.0-rc.1 + +COMMANDS: + backup backup an etcd directory + mk make a new key with a given value + mkdir make a new directory + rm remove a key + rmdir removes the key if it is an empty directory or a key-value pair + get retrieve the value of a key + ls retrieve a directory + set set the value of a key + setdir create a new or existing directory + update update an existing key with a given value + updatedir update an existing directory + watch watch a key for changes + exec-watch watch a key for changes and exec an executable + member member add, remove and list subcommands + help, h Shows a list of commands or help for one command + +GLOBAL OPTIONS: + --debug output cURL commands which can be used to reproduce the request + --no-sync don't synchronize cluster information before sending request + --output, -o 'simple' output response in the given format (`simple` or `json`) + --peers, -C a comma-delimited list of machine addresses in the cluster (default: "127.0.0.1:4001") + --cert-file identify HTTPS client using this SSL certificate file + --key-file identify HTTPS client using this SSL key file + --ca-file verify certificates of HTTPS-enabled servers using this CA bundle + --help, -h show help + --version, -v print the version +``` + +### 数据库操作 +数据库操作围绕对键值和目录的 CRUD （符合 REST 风格的一套操作：Create）完整生命周期的管理。 + +etcd 在键的组织上采用了层次化的空间结构（类似于文件系统中目录的概念），用户指定的键可以为单独的名字，如 `testkey`，此时实际上放在根目录 `/` 下面，也可以为指定目录结构，如 `cluster1/node2/testkey`，则将创建相应的目录结构。 + +*注：CRUD 即 Create, Read, Update, Delete，是符合 REST 风格的一套 API 操作。* + +#### set +指定某个键的值。例如 +```bash +$ etcdctl set /testdir/testkey "Hello world" +Hello world +``` +支持的选项包括： +```bash +--ttl '0' 该键值的超时时间（单位为秒），不配置（默认为 0）则永不超时 +--swap-with-value value 若该键现在的值是 value，则进行设置操作 +--swap-with-index '0' 若该键现在的索引值是指定索引，则进行设置操作 +``` + +#### get +获取指定键的值。例如 +```bash +$ etcdctl set testkey hello +hello +$ etcdctl update testkey world +world +``` + +当键不存在时，则会报错。例如 +```bash +$ etcdctl get testkey2 +Error: 100: Key not found (/testkey2) [1] +``` + +支持的选项为 +```bash +--sort 对结果进行排序 +--consistent 将请求发给主节点，保证获取内容的一致性 +``` + +#### update +当键存在时，更新值内容。例如 +```bash +$ etcdctl set testkey hello +hello +$ etcdctl update testkey world +world +``` + +当键不存在时，则会报错。例如 +```bash +$ etcdctl update testkey2 world +Error: 100: Key not found (/testkey2) [1] +``` + +支持的选项为 +```bash +--ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 +``` + +#### rm +删除某个键值。例如 +```bash +$ etcdctl rm testkey +``` + +当键不存在时，则会报错。例如 +```bash +$ etcdctl rm testkey2 +Error: 100: Key not found (/testkey2) [8] +``` + +支持的选项为 +```bash +--dir 如果键是个空目录或者键值对则删除 +--recursive 删除目录和所有子键 +--with-value 检查现有的值是否匹配 +--with-index '0' 检查现有的 index 是否匹配 +``` + +#### mk +如果给定的键不存在，则创建一个新的键值。例如 +```bash +$ etcdctl mk /testdir/testkey "Hello world" +Hello world +``` +当键存在的时候，执行该命令会报错，例如 +```bash +$ etcdctl set testkey "Hello world" +Hello world +$ ./etcdctl mk testkey "Hello world" +Error: 105: Key already exists (/testkey) [2] +``` + +支持的选项为 +```bash +--ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 +``` + +#### mkdir +如果给定的键目录不存在，则创建一个新的键目录。例如 +```bash +$ etcdctl mkdir testdir +``` +当键目录存在的时候，执行该命令会报错，例如 +```bash +$ etcdctl mkdir testdir +$ etcdctl mkdir testdir +Error: 105: Key already exists (/testdir) [7] +``` +支持的选项为 +```bash +--ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 +``` + +#### setdir + +创建一个键目录，无论存在与否。 + +支持的选项为 +```bash +--ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 +``` + +#### updatedir +更新一个已经存在的目录。 +支持的选项为 +```bash +--ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 +``` + +#### rmdir +删除一个空目录，或者键值对。 + +若目录不空，会报错 +```bash +$ etcdctl set /dir/testkey hi +hi +$ etcdctl rmdir /dir +Error: 108: Directory not empty (/dir) [13] +``` + +#### ls +列出目录（默认为根目录）下的键或者子目录，默认不显示子目录中内容。 + +例如 +```bash +$ ./etcdctl set testkey 'hi' +hi +$ ./etcdctl set dir/test 'hello' +hello +$ ./etcdctl ls +/testkey +/dir +$ ./etcdctl ls dir +/dir/test +``` + +支持的选项包括 +```bash +--sort 将输出结果排序 +--recursive 如果目录下有子目录，则递归输出其中的内容 +-p 对于输出为目录，在最后添加 `/` 进行区分 +``` + +### 非数据库操作 + +#### backup +备份 etcd 的数据。 + +支持的选项包括 +```bash +--data-dir etcd 的数据目录 +--backup-dir 备份到指定路径 +``` +#### watch +监测一个键值的变化，一旦键值发生更新，就会输出最新的值并退出。 + +例如，用户更新 testkey 键值为 Hello world。 +```bash +$ etcdctl watch testkey +Hello world +``` + +支持的选项包括 +```bash +--forever 一直监测，直到用户按 `CTRL+C` 退出 +--after-index '0' 在指定 index 之前一直监测 +--recursive 返回所有的键值和子键值 +``` +#### exec-watch +监测一个键值的变化，一旦键值发生更新，就执行给定命令。 + +例如，用户更新 testkey 键值。 +```bash +$ etcdctl exec-watch testkey -- sh -c 'ls' +default.etcd +Documentation +etcd +etcdctl +etcd-migrate +README-etcdctl.md +README.md +``` + +支持的选项包括 +```bash +--after-index '0' 在指定 index 之前一直监测 +--recursive 返回所有的键值和子键值 +``` + +#### member + +通过 list、add、remove 命令列出、添加、删除 etcd 实例到 etcd 集群中。 + +例如本地启动一个 etcd 服务实例后，可以用如下命令进行查看。 + +```bash +$ etcdctl member list +ce2a822cea30bfca: name=default peerURLs=http://localhost:2380,http://localhost:7001 clientURLs=http://localhost:2379,http://localhost:4001 +``` + +### 命令选项 +* `--debug` 输出 cURL 命令，显示执行命令的时候发起的请求 +* `--no-sync` 发出请求之前不同步集群信息 +* `--output, -o 'simple'` 输出内容的格式 (`simple` 为原始信息，`json` 为进行json格式解码，易读性好一些) +* `--peers, -C` 指定集群中的同伴信息，用逗号隔开 (默认为: "127.0.0.1:4001") +* `--cert-file` HTTPS 下客户端使用的 SSL 证书文件 +* `--key-file` HTTPS 下客户端使用的 SSL 密钥文件 +* `--ca-file` 服务端使用 HTTPS 时，使用 CA 文件进行验证 +* `--help, -h` 显示帮助命令信息 +* `--version, -v` 打印版本信息 diff --git a/etcd/etcdctl.md b/etcd/etcdctl.md index b4b880a..8eee591 100644 --- a/etcd/etcdctl.md +++ b/etcd/etcdctl.md @@ -1,279 +1,156 @@ ## 使用 etcdctl -etcdctl 是一个命令行客户端，它能提供一些简洁的命令，供用户直接跟 etcd 服务打交道，而无需基于 HTTP API 方式。这在某些情况下将很方便，例如用户对服务进行测试或者手动修改数据库内容。我们也推荐在刚接触 etcd 时通过 etcdctl 命令来熟悉相关的操作，这些操作跟 HTTP API 实际上是对应的。 +`etcdctl` 是一个命令行客户端，它能提供一些简洁的命令，供用户直接跟 `etcd` 服务打交道，而无需基于 `HTTP API` 方式。这在某些情况下将很方便，例如用户对服务进行测试或者手动修改数据库内容。我们也推荐在刚接触 `etcd` 时通过 `etcdctl` 命令来熟悉相关的操作，这些操作跟 `HTTP API` 实际上是对应的。 -etcd 项目二进制发行包中已经包含了 etcdctl 工具，没有的话，可以从 [github.com/coreos/etcd/releases](https://github.com/coreos/etcd/releases) 下载。 +`etcd` 项目二进制发行包中已经包含了 `etcdctl` 工具，没有的话，可以从 [github.com/coreos/etcd/releases](https://github.com/coreos/etcd/releases) 下载。 -etcdctl 支持如下的命令，大体上分为数据库操作和非数据库操作两类，后面将分别进行解释。 +`etcdctl` 支持如下的命令，大体上分为数据库操作和非数据库操作两类，后面将分别进行解释。 -```bash -$ etcdctl -h +``` NAME: - etcdctl - A simple command line client for etcd. + etcdctl - A simple command line client for etcd3. USAGE: - etcdctl [global options] command [command options] [arguments...] + etcdctl VERSION: - 2.0.0-rc.1 + 3.2.10 + +API VERSION: + 3.2 + COMMANDS: - backup backup an etcd directory - mk make a new key with a given value - mkdir make a new directory - rm remove a key - rmdir removes the key if it is an empty directory or a key-value pair - get retrieve the value of a key - ls retrieve a directory - set set the value of a key - setdir create a new or existing directory - update update an existing key with a given value - updatedir update an existing directory - watch watch a key for changes - exec-watch watch a key for changes and exec an executable - member member add, remove and list subcommands - help, h Shows a list of commands or help for one command + get Gets the key or a range of keys + put Puts the given key into the store + del Removes the specified key or range of keys [key, range_end) + txn Txn processes all the requests in one transaction + compaction Compacts the event history in etcd + alarm disarm Disarms all alarms + alarm list Lists all alarms + defrag Defragments the storage of the etcd members with given endpoints + endpoint health Checks the healthiness of endpoints specified in `--endpoints` flag + endpoint status Prints out the status of endpoints specified in `--endpoints` flag + watch Watches events stream on keys or prefixes + version Prints the version of etcdctl + lease grant Creates leases + lease revoke Revokes leases + lease timetolive Get lease information + lease keep-alive Keeps leases alive (renew) + member add Adds a member into the cluster + member remove Removes a member from the cluster + member update Updates a member in the cluster + member list Lists all members in the cluster + snapshot save Stores an etcd node backend snapshot to a given file + snapshot restore Restores an etcd member snapshot to an etcd directory + snapshot status Gets backend snapshot status of a given file + make-mirror Makes a mirror at the destination etcd cluster + migrate Migrates keys in a v2 store to a mvcc store + lock Acquires a named lock + elect Observes and participates in leader election + auth enable Enables authentication + auth disable Disables authentication + user add Adds a new user + user delete Deletes a user + user get Gets detailed information of a user + user list Lists all users + user passwd Changes password of user + user grant-role Grants a role to a user + user revoke-role Revokes a role from a user + role add Adds a new role + role delete Deletes a role + role get Gets detailed information of a role + role list Lists all roles + role grant-permission Grants a key to a role + role revoke-permission Revokes a key from a role + check perf Check the performance of the etcd cluster + help Help about any command -GLOBAL OPTIONS: - --debug output cURL commands which can be used to reproduce the request - --no-sync don't synchronize cluster information before sending request - --output, -o 'simple' output response in the given format (`simple` or `json`) - --peers, -C a comma-delimited list of machine addresses in the cluster (default: "127.0.0.1:4001") - --cert-file identify HTTPS client using this SSL certificate file - --key-file identify HTTPS client using this SSL key file - --ca-file verify certificates of HTTPS-enabled servers using this CA bundle - --help, -h show help - --version, -v print the version +OPTIONS: + --cacert="" verify certificates of TLS-enabled secure servers using this CA bundle + --cert="" identify secure client using this TLS certificate file + --command-timeout=5s timeout for short running command (excluding dial timeout) + --debug[=false] enable client-side debug logging + --dial-timeout=2s dial timeout for client connections + --endpoints=[127.0.0.1:2379] gRPC endpoints + --hex[=false] print byte strings as hex encoded strings + --insecure-skip-tls-verify[=false] skip server certificate verification + --insecure-transport[=true] disable transport security for client connections + --key="" identify secure client using this TLS key file + --user="" username[:password] for authentication (prompt if password is not supplied) + -w, --write-out="simple" set the output format (fields, json, protobuf, simple, table) ``` ### 数据库操作 + 数据库操作围绕对键值和目录的 CRUD （符合 REST 风格的一套操作：Create）完整生命周期的管理。 etcd 在键的组织上采用了层次化的空间结构（类似于文件系统中目录的概念），用户指定的键可以为单独的名字，如 `testkey`，此时实际上放在根目录 `/` 下面，也可以为指定目录结构，如 `cluster1/node2/testkey`，则将创建相应的目录结构。 -*注：CRUD 即 Create, Read, Update, Delete，是符合 REST 风格的一套 API 操作。* +>注：CRUD 即 Create, Read, Update, Delete，是符合 REST 风格的一套 API 操作。 + +#### put -#### set -指定某个键的值。例如 ```bash -$ etcdctl set /testdir/testkey "Hello world" -Hello world -``` -支持的选项包括： -```bash ---ttl '0' 该键值的超时时间（单位为秒），不配置（默认为 0）则永不超时 ---swap-with-value value 若该键现在的值是 value，则进行设置操作 ---swap-with-index '0' 若该键现在的索引值是指定索引，则进行设置操作 +$ etcdctl put /testdir/testkey "Hello world" +OK ``` #### get + 获取指定键的值。例如 -```bash -$ etcdctl set testkey hello -hello -$ etcdctl update testkey world -world -``` -当键不存在时，则会报错。例如 ```bash -$ etcdctl get testkey2 -Error: 100: Key not found (/testkey2) [1] +$ etcdctl put testkey hello +OK +$ etcdctl get testkey +testkey +hello ``` 支持的选项为 -```bash ---sort 对结果进行排序 ---consistent 将请求发给主节点，保证获取内容的一致性 -``` -#### update -当键存在时，更新值内容。例如 -```bash -$ etcdctl set testkey hello -hello -$ etcdctl update testkey world -world -``` +`--sort` 对结果进行排序 -当键不存在时，则会报错。例如 -```bash -$ etcdctl update testkey2 world -Error: 100: Key not found (/testkey2) [1] -``` +`--consistent` 将请求发给主节点，保证获取内容的一致性 -支持的选项为 -```bash ---ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 -``` +#### del -#### rm 删除某个键值。例如 -```bash -$ etcdctl rm testkey -``` -当键不存在时，则会报错。例如 ```bash -$ etcdctl rm testkey2 -Error: 100: Key not found (/testkey2) [8] -``` - -支持的选项为 -```bash ---dir 如果键是个空目录或者键值对则删除 ---recursive 删除目录和所有子键 ---with-value 检查现有的值是否匹配 ---with-index '0' 检查现有的 index 是否匹配 -``` - -#### mk -如果给定的键不存在，则创建一个新的键值。例如 -```bash -$ etcdctl mk /testdir/testkey "Hello world" -Hello world -``` -当键存在的时候，执行该命令会报错，例如 -```bash -$ etcdctl set testkey "Hello world" -Hello world -$ ./etcdctl mk testkey "Hello world" -Error: 105: Key already exists (/testkey) [2] -``` - -支持的选项为 -```bash ---ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 -``` - -#### mkdir -如果给定的键目录不存在，则创建一个新的键目录。例如 -```bash -$ etcdctl mkdir testdir -``` -当键目录存在的时候，执行该命令会报错，例如 -```bash -$ etcdctl mkdir testdir -$ etcdctl mkdir testdir -Error: 105: Key already exists (/testdir) [7] -``` -支持的选项为 -```bash ---ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 -``` - -#### setdir - -创建一个键目录，无论存在与否。 - -支持的选项为 -```bash ---ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 -``` - -#### updatedir -更新一个已经存在的目录。 -支持的选项为 -```bash ---ttl '0' 超时时间（单位为秒），不配置（默认为 0）则永不超时 -``` - -#### rmdir -删除一个空目录，或者键值对。 - -若目录不空，会报错 -```bash -$ etcdctl set /dir/testkey hi -hi -$ etcdctl rmdir /dir -Error: 108: Directory not empty (/dir) [13] -``` - -#### ls -列出目录（默认为根目录）下的键或者子目录，默认不显示子目录中内容。 - -例如 -```bash -$ ./etcdctl set testkey 'hi' -hi -$ ./etcdctl set dir/test 'hello' -hello -$ ./etcdctl ls -/testkey -/dir -$ ./etcdctl ls dir -/dir/test -``` - -支持的选项包括 -```bash ---sort 将输出结果排序 ---recursive 如果目录下有子目录，则递归输出其中的内容 --p 对于输出为目录，在最后添加 `/` 进行区分 +$ etcdctl del testkey +1 ``` ### 非数据库操作 -#### backup -备份 etcd 的数据。 - -支持的选项包括 -```bash ---data-dir etcd 的数据目录 ---backup-dir 备份到指定路径 -``` #### watch + 监测一个键值的变化，一旦键值发生更新，就会输出最新的值并退出。 例如，用户更新 testkey 键值为 Hello world。 + ```bash $ etcdctl watch testkey Hello world ``` 支持的选项包括 -```bash + --forever 一直监测，直到用户按 `CTRL+C` 退出 ---after-index '0' 在指定 index 之前一直监测 ---recursive 返回所有的键值和子键值 -``` -#### exec-watch -监测一个键值的变化，一旦键值发生更新，就执行给定命令。 -例如，用户更新 testkey 键值。 -```bash -$etcdctl exec-watch testkey -- sh -c 'ls' -default.etcd -Documentation -etcd -etcdctl -etcd-migrate -README-etcdctl.md -README.md -``` - -支持的选项包括 -```bash --after-index '0' 在指定 index 之前一直监测 + --recursive 返回所有的键值和子键值 -``` #### member -通过 list、add、remove 命令列出、添加、删除 etcd 实例到 etcd 集群中。 + +通过 `list`、`add`、`update`、`remove` 命令列出、添加、更新、删除 etcd 实例到 etcd 集群中。 例如本地启动一个 etcd 服务实例后，可以用如下命令进行查看。 + ```bash $ etcdctl member list -ce2a822cea30bfca: name=default peerURLs=http://localhost:2380,http://localhost:7001 clientURLs=http://localhost:2379,http://localhost:4001 - +422a74f03b622fef, started, node1, http://172.16.238.100:2380, http://172.16.238.100:23 ``` -### 命令选项 -* `--debug` 输出 cURL 命令，显示执行命令的时候发起的请求 -* `--no-sync` 发出请求之前不同步集群信息 -* `--output, -o 'simple'` 输出内容的格式 (`simple` 为原始信息，`json` 为进行json格式解码，易读性好一些) -* `--peers, -C` 指定集群中的同伴信息，用逗号隔开 (默认为: "127.0.0.1:4001") -* `--cert-file` HTTPS 下客户端使用的 SSL 证书文件 -* `--key-file` HTTPS 下客户端使用的 SSL 密钥文件 -* `--ca-file` 服务端使用 HTTPS 时，使用 CA 文件进行验证 -* `--help, -h` 显示帮助命令信息 -* `--version, -v` 打印版本信息 diff --git a/etcd/install.md b/etcd/install.md index dd51f2a..e8b834e 100644 --- a/etcd/install.md +++ b/etcd/install.md @@ -1,78 +1,97 @@ ## 安装 -etcd 基于 Go 语言实现，因此，用户可以从 [项目主页](https://github.com/coreos/etcd) 下载源代码自行编译，也可以下载编译好的二进制文件，甚至直接使用制作好的 Docker 镜像文件来体验。 +`etcd` 基于 Go 语言实现，因此，用户可以从 [项目主页](https://github.com/coreos/etcd) 下载源代码自行编译，也可以下载编译好的二进制文件，甚至直接使用制作好的 Docker 镜像文件来体验。 + +>注意：本章节内容基于 etcd `3.x` 版本 ### 二进制文件方式下载 编译好的二进制文件都在 [github.com/coreos/etcd/releases](https://github.com/coreos/etcd/releases/) 页面，用户可以选择需要的版本，或通过下载工具下载。 -例如，下面的命令使用 curl 工具下载压缩包，并解压。 +例如，使用 `curl` 工具下载压缩包，并解压。 ```bash -curl -L https://github.com/coreos/etcd/releases/download/v2.0.0-rc.1/etcd-v2.0.0-rc.1-linux-amd64.tar.gz -o etcd-v2.0.0-rc.1-linux-amd64.tar.gz -tar xzvf etcd-v2.0.0-rc.1-linux-amd64.tar.gz -cd etcd-v2.0.0-rc.1-linux-amd64 +$ curl -L https://github.com/coreos/etcd/releases/download/v3.2.10/etcd-v3.2.10-linux-amd64.tar.gz -o etcd-v3.2.10-linux-amd64.tar.gz +$ tar xzvf etcd-v3.2.10-linux-amd64.tar.gz +$ cd etcd-v3.2.10-linux-amd64 ``` 解压后，可以看到文件包括 + ```bash $ ls -etcd etcdctl etcd-migrate README-etcdctl.md README.md +Documentation README-etcdctl.md README.md READMEv2-etcdctl.md etcd etcdctl ``` -其中 etcd 是服务主文件，etcdctl 是提供给用户的命令客户端，etcd-migrate 负责进行迁移。 +其中 `etcd` 是服务主文件，`etcdctl` 是提供给用户的命令客户端，其他文件是支持文档。 -推荐通过下面的命令将三个文件都放到系统可执行目录 `/usr/local/bin/` 或 `/usr/bin/`。 +下面将 `etcd` `etcdctl` 文件放到系统可执行目录（例如 `/usr/local/bin/`）。 ```bash $ sudo cp etcd* /usr/local/bin/ ``` -运行 etcd，将默认组建一个两个节点的集群。数据库服务端默认监听在 2379 和 4001 端口，etcd 实例监听在 2380 和 7001 端口。显示类似如下的信息： +默认 `2379` 端口处理客户端的请求，`2380` 端口用于集群各成员间的通信。启动 etcd 显示类似如下的信息： + ```bash -$ ./etcd -2014/12/31 14:52:09 no data-dir provided, using default data-dir ./default.etcd -2014/12/31 14:52:09 etcd: listening for peers on http://localhost:2380 -2014/12/31 14:52:09 etcd: listening for peers on http://localhost:7001 -2014/12/31 14:52:09 etcd: listening for client requests on http://localhost:2379 -2014/12/31 14:52:09 etcd: listening for client requests on http://localhost:4001 -2014/12/31 14:52:09 etcdserver: name = default -2014/12/31 14:52:09 etcdserver: data dir = default.etcd -2014/12/31 14:52:09 etcdserver: snapshot count = 10000 -2014/12/31 14:52:09 etcdserver: advertise client URLs = http://localhost:2379,http://localhost:4001 -2014/12/31 14:52:09 etcdserver: initial advertise peer URLs = http://localhost:2380,http://localhost:7001 -2014/12/31 14:52:09 etcdserver: initial cluster = default=http://localhost:2380,default=http://localhost:7001 -2014/12/31 14:52:10 etcdserver: start member ce2a822cea30bfca in cluster 7e27652122e8b2ae -2014/12/31 14:52:10 raft: ce2a822cea30bfca became follower at term 0 -2014/12/31 14:52:10 raft: newRaft ce2a822cea30bfca [peers: [], term: 0, commit: 0, lastindex: 0, lastterm: 0] -2014/12/31 14:52:10 raft: ce2a822cea30bfca became follower at term 1 -2014/12/31 14:52:10 etcdserver: added local member ce2a822cea30bfca [http://localhost:2380 http://localhost:7001] to cluster 7e27652122e8b2ae -2014/12/31 14:52:11 raft: ce2a822cea30bfca is starting a new election at term 1 -2014/12/31 14:52:11 raft: ce2a822cea30bfca became candidate at term 2 -2014/12/31 14:52:11 raft: ce2a822cea30bfca received vote from ce2a822cea30bfca at term 2 -2014/12/31 14:52:11 raft: ce2a822cea30bfca became leader at term 2 -2014/12/31 14:52:11 raft.node: ce2a822cea30bfca elected leader ce2a822cea30bfca at term 2 -2014/12/31 14:52:11 etcdserver: published {Name:default ClientURLs:[http://localhost:2379 http://localhost:4001]} to cluster 7e27652122e8b2ae +$ etcd +2017-12-03 11:18:34.406082 I | etcdmain: etcd Version: 3.2.10 +2017-12-03 11:18:34.406226 I | etcdmain: Git SHA: GitNotFound +2017-12-03 11:18:34.406235 I | etcdmain: Go Version: go1.9.2 +2017-12-03 11:18:34.406242 I | etcdmain: Go OS/Arch: darwin/amd64 +2017-12-03 11:18:34.406250 I | etcdmain: setting maximum number of CPUs to 4, total number of available CPUs is 4 +2017-12-03 11:18:34.406265 N | etcdmain: failed to detect default host (default host not supported on darwin_amd64) +2017-12-03 11:18:34.406279 W | etcdmain: no data-dir provided, using default data-dir ./default.etcd +2017-12-03 11:18:34.406457 N | etcdmain: the server is already initialized as member before, starting as etcd member... +2017-12-03 11:18:34.411579 I | embed: listening for peers on http://localhost:2380 +2017-12-03 11:18:34.411938 I | embed: listening for client requests on localhost:2379 ``` -此时，可以使用 etcdctl 命令进行测试，设置和获取键值 `testkey: "hello world"`，检查 etcd 服务是否启动成功： +此时，可以使用 `etcdctl` 命令进行测试，设置和获取键值 `testkey: "hello world"`，检查 etcd 服务是否启动成功： + ```bash -$ ./etcdctl set testkey "hello world" -hello world -$ ./etcdctl get testkey +$ etcdctl member list +8e9e05c52164694d, started, default, http://localhost:2380, http://localhost:2379 + +$ etcdctl put testkey "hello world" +OK + +$ etcdctl get testkey +testkey hello world ``` + 说明 etcd 服务已经成功启动了。 -当然，也可以通过 HTTP 访问本地 2379 或 4001 端口的方式来进行操作，例如查看 `testkey` 的值： +### Docker 镜像方式运行 + +镜像名称为 `quay.io/coreos/etcd`，可以通过下面的命令启动 `etcd` 服务监听到 `2379` 和 `2380` 端口。 + ```bash -$ curl -L http://localhost:4001/v2/keys/testkey -{"action":"get","node":{"key":"/testkey","value":"hello world","modifiedIndex":3,"createdIndex":3}} +$ export NODE1=192.168.1.21 + +$ docker run --name etcd \ + -p 2379:2379 \ + -p 2380:2380 \ + --volume=etcd-data:/etcd-data \ + quay.io/coreos/etcd:latest \ + /usr/local/bin/etcd \ + --data-dir=/etcd-data --name node1 \ + --initial-advertise-peer-urls http://${NODE1}:2380 --listen-peer-urls http://0.0.0.0:2380 \ + --advertise-client-urls http://${NODE1}:2379 --listen-client-urls http://0.0.0.0:2379 \ + --initial-cluster node1=http://${NODE1}:2380 ``` -### Docker 镜像方式下载 +>注意：etcd 官方标注 `quay.io/coreos/etcd` 即将废弃，启用新的 `gcr.io/etcd-development/etcd` 镜像，但后者由于网络原因，国内不能下载到该镜像，这里仍然使用前者作为演示。 + +打开新的终端按照上一步的方法测试 etcd 是否成功启动。 + +### macOS 中运行 -镜像名称为 quay.io/coreos/etcd:v2.0.0_rc.1，可以通过下面的命令启动 etcd 服务监听到 4001 端口。 ```bash -$ docker run -p 4001:4001 -v /etc/ssl/certs/:/etc/ssl/certs/ quay.io/coreos/etcd:v2.0.0_rc.1 +$ brew install etcd + +$ etcd + +$ etcdctl member list ``` diff --git a/etcd/intro.md b/etcd/intro.md index 4050610..7ec082a 100644 --- a/etcd/intro.md +++ b/etcd/intro.md @@ -2,18 +2,24 @@ ![](_images/etcd_logo.png) -etcd 是 CoreOS 团队于 2013 年 6 月发起的开源项目，它的目标是构建一个高可用的分布式键值（key-value）数据库，基于 Go 语言实现。我们知道，在分布式系统中，各种服务的配置信息的管理分享，服务的发现是一个很基本同时也是很重要的问题。CoreOS 项目就希望基于 etcd 来解决这一问题。 +`etcd` 是 `CoreOS` 团队于 2013 年 6 月发起的开源项目，它的目标是构建一个高可用的分布式键值（key-value）数据库，基于 Go 语言实现。我们知道，在分布式系统中，各种服务的配置信息的管理分享，服务的发现是一个很基本同时也是很重要的问题。`CoreOS` 项目就希望基于 `etcd` 来解决这一问题。 -etcd 目前在 [github.com/coreos/etcd](https://github.com/coreos/etcd) 进行维护。 +`etcd` 目前在 [github.com/coreos/etcd](https://github.com/coreos/etcd) 进行维护。 -受到 [Apache ZooKeeper](http://zookeeper.apache.org/) 项目和 [doozer](https://github.com/ha/doozerd) 项目的启发，etcd 在设计的时候重点考虑了下面四个要素： -* 简单：支持 REST 风格的 HTTP+JSON API -* 安全：支持 HTTPS 方式的访问 -* 快速：支持并发 1k/s 的写操作 -* 可靠：支持分布式结构，基于 Raft 的一致性算法 +受到 [Apache ZooKeeper](http://zookeeper.apache.org/) 项目和 [doozer](https://github.com/ha/doozerd) 项目的启发，`etcd` 在设计的时候重点考虑了下面四个要素： -*注：Apache ZooKeeper 是一套知名的分布式系统中进行同步和一致性管理的工具。* -*注：doozer 则是一个一致性分布式数据库。* -*注：Raft 是一套通过选举主节点来实现分布式系统一致性的算法，相比于大名鼎鼎的 Paxos 算法，它的过程更容易被人理解，由 Stanford 大学的 Diego Ongaro 和 John Ousterhout 提出。更多细节可以参考 [raftconsensus.github.io](http://raftconsensus.github.io)。* +* 简单：支持 `REST` 风格的 `HTTP+JSON API` -一般情况下，用户使用 etcd 可以在多个节点上启动多个实例，并添加它们为一个集群。同一个集群中的 etcd 实例将会保持彼此信息的一致性。 +* 安全：支持 `HTTPS` 方式的访问 + +* 快速：支持并发 `10 k/s` 的写操作 + +* 可靠：支持分布式结构，基于 `Raft` 的一致性算法 + +*Apache ZooKeeper 是一套知名的分布式系统中进行同步和一致性管理的工具。* + +*doozer 是一个一致性分布式数据库。* + +*[Raft](https://raft.github.io/) 是一套通过选举主节点来实现分布式系统一致性的算法，相比于大名鼎鼎的 Paxos 算法，它的过程更容易被人理解，由 Stanford 大学的 Diego Ongaro 和 John Ousterhout 提出。更多细节可以参考 [raftconsensus.github.io](http://raftconsensus.github.io)。* + +一般情况下，用户使用 `etcd` 可以在多个节点上启动多个实例，并添加它们为一个集群。同一个集群中的 `etcd` 实例将会保持彼此信息的一致性。