Restruct and reorder chapters

2026-03-11 04:14:38 +00:00 · 2026-02-21 22:22:17 -08:00
parent 2ab40eacc0
commit 33af380be1
141 changed files with 154 additions and 182 deletions
--- a/18_observability/README.md
+++ b/18_observability/README.md
@@ -0,0 +1,8 @@
+# 第十八章 容器监控与日志
+
+在生产环境中，容器化应用部署完成后，实时掌握容器集群的状态以及应用日志非常重要。本章将介绍针对 Docker 容器和 Kubernetes 集群的监控与日志管理方案。
+
+我们将重点探讨以下内容：
+
+- **容器监控**：以 Prometheus 为主，讲解如何采集和展示容器性能指标。
+- **日志管理**：以 ELK (Elasticsearch, Logstash, Kibana) 套件为例，介绍集中式日志收集平台。
--- a/18_observability/elk.md
+++ b/18_observability/elk.md
@@ -0,0 +1,130 @@
+## ELK/EFK 堆栈
+
+ELK (Elasticsearch，Logstash，Kibana) 是目前业界最流行的开源日志解决方案。而在容器领域，由于 Fluentd 更加轻量级且对容器支持更好，EFK (Elasticsearch，Fluentd，Kibana) 组合也变得非常流行。
+
+### 方案架构
+
+我们将采用以下架构：
+
+1. **Docker Container**：容器将日志输出到标准输出 (stdout/stderr)。
+2. **Fluentd**：作为 Docker 的 Logging Driver 或运行为守护容器，收集容器日志。
+3. **Elasticsearch**：存储从 Fluentd 接收到的日志数据。
+4. **Kibana**：从 Elasticsearch 读取数据并进行可视化展示。
+
+### 部署流程
+
+我们将使用 Docker Compose 来一键部署整个日志堆栈。
+
+#### 1。编写 Compose 文件
+
+1. 编写 `compose.yaml` (或 `docker-compose.yml`) 配置如下：
+
+```yaml
+services:
+  elasticsearch:
+    image: docker.elastic.co/elasticsearch/elasticsearch:7.17.0
+    container_name: elasticsearch
+    environment:
+      - "discovery.type=single-node"
+      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
+    ports:
+      - "9200:9200"
+    volumes:
+      - es_data:/usr/share/elasticsearch/data
+    networks:
+      - logging
+
+  kibana:
+    image: docker.elastic.co/kibana/kibana:7.17.0
+    container_name: kibana
+    environment:
+      - ELASTICSEARCH_HOSTS=http://elasticsearch:9200
+    ports:
+      - "5601:5601"
+    links:
+      - elasticsearch
+    networks:
+      - logging
+
+  fluentd:
+    image: fluent/fluentd-kubernetes-daemonset:v1.14.3-debian-elasticsearch7-1.0
+    container_name: fluentd
+    environment:
+      - "FLUENT_ELASTICSEARCH_HOST=elasticsearch"
+      - "FLUENT_ELASTICSEARCH_PORT=9200"
+      - "FLUENT_ELASTICSEARCH_SCHEME=http"
+      - "FLUENT_UID=0"
+    ports:
+      - "24224:24224"
+      - "24224:24224/udp"
+    links:
+      - elasticsearch
+    volumes:
+      - ./fluentd/conf:/fluentd/etc
+    networks:
+      - logging
+
+volumes:
+  es_data:
+
+networks:
+  logging:
+```
+
+#### 2。配置 Fluentd
+
+创建 `fluentd/conf/fluent.conf`：
+
+```ini
+<source>
+  @type forward
+  port 24224
+  bind 0.0.0.0
+</source>
+
+<match *.**>
+  @type copy
+  <store>
+    @type elasticsearch
+    host elasticsearch
+    port 9200
+    logstash_format true
+    logstash_prefix docker
+    logstash_dateformat %Y%m%d
+    include_tag_key true
+    type_name access_log
+    tag_key @log_name
+    flush_interval 1s
+  </store>
+  <store>
+    @type stdout
+  </store>
+</match>
+```
+
+#### 3。配置应用容器使用 fluentd 驱动
+
+启动一个测试容器，指定日志驱动为 `fluentd`：
+
+```bash
+docker run -d \
+  --log-driver=fluentd \
+  --log-opt fluentd-address=localhost:24224 \
+  --log-opt tag=nginx-test \
+  --name nginx-test \
+  nginx
+```
+
+**注意**：确保 `fluentd` 容器已经启动并监听在 `localhost:24224`。在生产环境中，如果你是在不同机器上，需要将 `localhost` 替换为运行 fluentd 的主机 IP。
+
+#### 4。在 Kibana 中查看日志
+
+1. 访问 `http://localhost:5601`。
+2. 进入 **Management**->**Kibana**->**Index Patterns**。
+3. 创建新的 Index Pattern，输入 `docker-*` (我们在 fluent.conf 中配置的前缀)。
+4. 选择 `@timestamp` 作为时间字段。
+5. 去 **Discover** 页面，你就能看到 Nginx 容器的日志了。
+
+### 总结
+
+通过 Docker 的日志驱动机制，结合 ELK/EFK 强大的收集和分析能力，我们可以轻松构建一个能够处理海量日志的监控平台，这对于排查生产问题至关重要。
--- a/18_observability/logs_README.md
+++ b/18_observability/logs_README.md
@@ -0,0 +1,26 @@
+# 日志管理
+
+在容器化环境中，日志管理比传统环境更为复杂。容器是短暂的，意味着容器内的日志文件可能会随着容器的销毁而丢失。因此，我们需要一种集中式的日志管理方案来收集、存储和分析容器日志。
+
+## Docker 日志驱动
+
+Docker 提供了多种日志驱动 (Log Driver) 机制，允许我们将容器日志转发到不同的后端。
+
+常见的日志驱动包括：
+
+* `json-file`：默认驱动，将日志以 JSON 格式写入本地文件。
+* `syslog`：将日志转发到 syslog 服务器。
+* `journald`：将日志写入 systemd journal。
+* `fluentd`：将日志转发到 fluentd 收集器。
+* `gelf`：支持 GELF 协议的日志后端 (如 Graylog)。
+* `awslogs`：发送到 Amazon CloudWatch Logs。
+
+## 日志管理方案
+
+对于大规模的容器集群，我们通常会采用 EFK (Elasticsearch + Fluentd + Kibana) 或 ELK (Elasticsearch + Logstash + Kibana) 方案。
+
+* **Elasticsearch**：负责日志的存储和全文检索。
+* **Fluentd/Logstash**：负责日志的采集、过滤和转发。
+* **Kibana**：负责日志的可视化展示。
+
+本章将介绍如何使用 EFK 方案来处理 Docker 容器日志。
--- a/18_observability/prometheus.md
+++ b/18_observability/prometheus.md
@@ -0,0 +1,109 @@
+## Prometheus + Grafana
+
+Prometheus 和 Grafana 是目前最流行的开源监控组合，前者负责数据采集与存储，后者负责数据可视化。
+
+[Prometheus](https://prometheus.io/) 是一个开源的系统监控和报警工具包。它受 Google Borgmon 的启发，由 SoundCloud 在 2012 年创建。
+
+### 架构简介
+
+Prometheus 的主要组件包括：
+
+* **Prometheus Server**：核心组件，负责收集和存储时间序列数据。
+* **Exporters**：负责向 Prometheus 暴露监控数据 (如 Node Exporter，cAdvisor)。
+* **Alertmanager**：处理报警发送。
+* **Pushgateway**：用于支持短生命周期的 Job 推送数据。
+
+### 快速部署
+
+我们可以使用 Docker Compose 快速部署一套 Prometheus + Grafana 监控环境。
+
+#### 1。准备配置文件
+
+创建 `prometheus.yml`：
+
+```yaml
+global:
+  scrape_interval: 15s
+
+scrape_configs:
+  - job_name: 'prometheus'
+    static_configs:
+      - targets: ['localhost:9090']
+
+  - job_name: 'node-exporter'
+    static_configs:
+      - targets: ['node-exporter:9100']
+
+  - job_name: 'cadvisor'
+    static_configs:
+      - targets: ['cadvisor:8080']
+```
+
+#### 2。编写 Docker Compose 文件
+
+创建 `compose.yaml` (或 `docker-compose.yml`)：
+
+```yaml
+services:
+  prometheus:
+    image: prom/prometheus:latest
+    volumes:
+      - ./prometheus.yml:/etc/prometheus/prometheus.yml
+    ports:
+      - "9090:9090"
+    networks:
+      - monitoring
+
+  grafana:
+    image: grafana/grafana:latest
+    ports:
+      - "3000:3000"
+    environment:
+      - GF_SECURITY_ADMIN_PASSWORD=admin
+    networks:
+      - monitoring
+    depends_on:
+      - prometheus
+
+  node-exporter:
+    image: prom/node-exporter:latest
+    ports:
+      - "9100:9100"
+    networks:
+      - monitoring
+
+  cadvisor:
+    image: gcr.io/cadvisor/cadvisor:latest
+    ports:
+      - "8080:8080"
+    volumes:
+      - /:/rootfs:ro
+      - /var/run:/var/run:ro
+      - /sys:/sys:ro
+      - /var/lib/docker/:/var/lib/docker:ro
+    networks:
+      - monitoring
+
+networks:
+  monitoring:
+```
+
+#### 3。启动服务
+
+运行以下命令：
+
+```bash
+$ docker compose up -d
+```
+
+启动后，访问以下地址：
+
+* Prometheus: `http://localhost:9090`
+* Grafana：`http://localhost:3000` (默认账号密码：admin/admin)
+
+### 配置 Grafana 面板
+
+1. 在 Grafana 中添加 Prometheus 数据源，URL 填写 `http://prometheus:9090`。
+2. 导入现成的 Dashboard 模板，例如 [Node Exporter Full](https://grafana.com/grafana/dashboards/1860) (ID：1860) 和 [Docker Container](https://grafana.com/grafana/dashboards/193) (ID：193)。
+
+这样，你就拥有了一个直观的容器监控大屏。