2021 on Ricky

Nginx怎样隐藏上游错误

Mon, 27 Dec 2021 15:47:12 +0800

Nginx 怎样隐藏上游错误

Nginx 允许对以下 7 种可以进行重试的错误码启用 next upstream 功能

403 Forbidden
404 Not Found
429 Too Many Requests
500 Internal Server Error
502 Bad Gateway
503 Server Unavailable
504 Gateway Timeout

当上游返回 404 错误时，改为通过 200 返回一张找不到资源的图片

此时，可以通过 proxy_intercept_errors 指令完成这一功能当 proxy_intercept_errors 开启后，对于上游返回的大于等于 300 响应码的请求，都可以基于 error_page 指令继续处理

location /ih {
 proxy_pass http://ihBackend;
 proxy_intercept_errors on;
 error_page 404 = /404.html;
}
location = /404.html {
 alias html/404_not_found.html;
}

Argo CD ApplicationSet Controller: 世界為我而轉動！

Mon, 27 Dec 2021 09:41:03 +0800

# 安裝 kind，其他平台安裝方式請參閱官方文件
# 用來運行輕量 K8s Cluster 於本地端
~$ brew install kind
# 安裝 kubectx，其他平台安裝方式請參閱官方文件
# 用來方便切換不同 k8s context
~$ brew install kubectx
# 安裝 helm，其他平台安裝方式請參閱官方文件
# K8s 套件管理工具
~$ brew install helm
# 安裝 kubectl, 其他平台安裝方式請參閱官方文件
# 用來與 K8s Cluster API Server 溝通
~$ brew install kubectl
# 安裝 argocd cli, 其他平台安裝方式請參閱官方文件
# 用來與 Argo CD 溝通
~$ brew install argocd

golang的AES加密和解密的三种模式实现（CBC/ECB/CFB)

Wed, 22 Dec 2021 17:40:52 +0800

【理解 Cilium 系列文章】(一) 初識 Cilium

Tue, 21 Dec 2021 13:04:38 +0800

【理解 Cilium 系列文章】(一) 初識 Cilium

當前 k8s Service 負載均衡的實現現狀

在 Cilium 出現之前， Service 由 kube-proxy 來實現，實現方式有 userspace ， iptables ， ipvs 三種模式。

Userspace

當前模式下，kube-proxy 作為反向代理,監聽隨機端口，通過 iptables 規則將流量重定向到代理端口，再由 kube-proxy 將流量轉發到後端 pod。Service 的請求會先從用户空間進入內核 iptables，然後再回到用户空間，代價較大，性能較差。

Iptables

存在的問題：

1.可擴展性差。隨着 service 數據達到數千個，其控制面和數據面的性能都會急劇下降。原因在於 iptables 控制面的接口設計中，每添加一條規則，需要遍歷和修改所有的規則，其控制面性能是 O(n²) 。在數據面，規則是用鏈表組織的，其性能是 O(n)

2.LB 調度算法僅支持隨機轉發

Ipvs 模式

IPVS 是專門為 LB 設計的。它用 hash table 管理 service，對 service 的增刪查找都是 O(1)的時間複雜度。不過 IPVS 內核模塊沒有 SNAT 功能，因此借用了 iptables 的 SNAT 功能。

IPVS 針對報文做 DNAT 後，將連接信息保存在 nf_conntrack 中，iptables 據此接力做 SNAT。該模式是目前 Kubernetes 網絡性能最好的選擇。但是由於 nf_conntrack 的複雜性，帶來了很大的性能損耗。騰訊針對該問題做過相應的優化【繞過 conntrack，使用 eBPF 增強 IPVS 優化 K8s 網絡性能】

不使用 kube-proxy 的 Kubernetes

Mon, 20 Dec 2021 17:57:13 +0800

不使用 kube-proxy 的 Kubernetes

快速開始

kubeadm init --skip-phases=addon/kube-proxy

# 設定 Helm 倉庫
helm repo add cilium https://helm.cilium.io/


helm install cilium cilium/cilium --version 1.9.18 \
 --namespace kube-system \
 --set kubeProxyReplacement=strict \
 --set k8sServiceHost=REPLACE_WITH_API_SERVER_IP \
 --set k8sServicePort=REPLACE_WITH_API_SERVER_PORT

Zsh tab 補完無法使用

Fri, 10 Dec 2021 17:44:49 +0800

Zsh tab 補完無法使用

問題

雖然我之前用過 Oh-My-Zsh，但這次（設定新電腦）我決定盡量不要安裝它，讓環境更精簡。現在我想單獨取用 Oh-My-Zsh 的大小寫不敏感補完功能。翻查原始碼後，我找到下面這行： zstyle ':completion:*' matcher-list 'm:{a-zA-Z}={A-Za-z}' 'r:|=*' 'l:|=* r:|=*'

我相當確定 Oh-My-Zsh 就是用這行達成我的需求，所以我把它加進 .zshrc。重啟終端機後輸入 cd desk，再按 [tab]，結果沒有作用，並沒有補完成 cd Desktop/。

以下是完整的 .zshrc 供參考：

# Source - https://stackoverflow.com/q
# Posted by kylemart
# Retrieved 2026-01-05, License - CC BY-SA 3.0

# pure shell theme
autoload -U promptinit; promptinit
prompt pure

# completion definitions
zstyle ':completion:*' matcher-list 'm:{a-zA-Z}={A-Za-z}' 'r:|=*' 'l:|=* r:|=*'
fpath=(/usr/local/share/zsh-completions $fpath)

# syntax highlighting (must be last line)
source /usr/local/share/zsh-syntax-highlighting/zsh-syntax-highlighting.zsh

答案

只要 autoload 並執行 compinit 即可。

Linkerd 2.8 - 實現超級簡單又安全的多叢集(multicluster) Kubernetes 架構

Thu, 09 Dec 2021 09:25:44 +0800

Linkerd 2.8 - 實現超級簡單又安全的多叢集(multicluster) Kubernetes 架構

撰寫 Bash 腳本的最佳實務

Mon, 06 Dec 2021 11:11:54 +0800

#!/usr/bin/env bash
# Bash3 Boilerplate. Copyright (c) 2014, kvz.io
set -o errexit
set -o pipefail
set -o nounset
# set -o xtrace

# Set magic variables for current file & dir
__dir="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)"
__file="${__dir}/$(basename "${BASH_SOURCE[0]}")"
__base="$(basename ${__file} .sh)"
__root="$(cd "$(dirname "${__dir}")" && pwd)" # <-- change this as it depends on your app

arg1="${1:-}"

使用 shift 讀取函式參數

這樣在日後需要調整參數順序時會更容易。

# Processes a file.
# $1 - the name of the input file
# $2 - the name of the output file
process_file(){
 local -r input_file="$1"; shift
 local -r output_file="$1"; shift
}

宣告你的變數

若可攜性是重點，請用 typeset 取代 declare。

Day 28 - Kubernetes 第三方好用工具介紹

Thu, 02 Dec 2021 13:28:09 +0800

Day 28 - Kubernetes 第三方好用工具介紹

$ kubectl get pods
NAME READY STATUS RESTARTS AGE
ithome-6564f65698-947rv 1/1 Running 0 84s
ithome-6564f65698-fglr9 1/1 Running 0 84s
ithome-6564f65698-k5wtg 1/1 Running 0 84s
ithome-6564f65698-rrvk4 1/1 Running 0 84s
ithome-6564f65698-zhwlj 1/1 Running 0 84s

Stern/Kail

創建出來的 Pod 名稱上面都會有一些不好閱讀的亂數

如果使用 kubectl 來觀察個別 Pod 的 log 就必須要於不同的 pod 之間來回切換

這方面的工具滿多的，譬如 Stern, Kube-tail, Kail 等都可以

上述範例會有五個 pod，而且這五個 pod 的名稱都是 ithome 開頭，因此我可以直接用 stern ithom 的方式來抓取這些 pod 的資訊，結果如下圖

$ stern ithome
...
ithome-6564f65698-zhwlj netutils Hello! 369 secs elapsed...
ithome-6564f65698-fglr9 netutils Hello! 369 secs elapsed...
ithome-6564f65698-947rv netutils Hello! 367 secs elapsed...
ithome-6564f65698-k5wtg netutils Hello! 368 secs elapsed...
ithome-6564f65698-rrvk4 netutils Hello! 369 secs elapsed...
ithome-6564f65698-zhwlj netutils Hello! 370 secs elapsed...
ithome-6564f65698-fglr9 netutils Hello! 370 secs elapsed...
ithome-6564f65698-947rv netutils Hello! 368 secs elapsed...
ithome-6564f65698-k5wtg netutils Hello! 370 secs elapsed...
ithome-6564f65698-rrvk4 netutils Hello! 370 secs elapsed...
ithome-6564f65698-zhwlj netutils Hello! 371 secs elapsed...
ithome-6564f65698-fglr9 netutils Hello! 371 secs elapsed...
ithome-6564f65698-947rv netutils Hello! 369 secs elapsed...

ithome-6564f65698-k5wtg netutils Hello! 371 secs elapsed...
ithome-6564f65698-rrvk4 netutils Hello! 371 secs elapsed...
ithome-6564f65698-zhwlj netutils Hello! 372 secs elapsed...
ithome-6564f65698-fglr9 netutils Hello! 372 secs elapsed...
^C

K9S

過往總是透過 kubectl 指令於各個資源，各 namespace 間切來切去，特別是要使用 exec, get, describe, logs, delete 等指令時，常常打的手忙腳亂或是覺得心累，有這種困擾的人可以考慮使用看看 k9s 這個工具

值得了解的 5 個 DevSecOps 開源專案

Tue, 30 Nov 2021 12:41:13 +0800

值得了解的 5 個 DevSecOps 開源專案

Open Policy Agent and Gatekeeper

[Kubernetes] Service Overview

Wed, 24 Nov 2021 14:00:45 +0800

[Kubernetes] Service Overview

定義 Service

搭配 selector

由於要先有 Pod 才會有定義 Service 的需求，因此假設 k8s 中已經有一些 Pod 的存在(同時對外開放 TCP port 9376)，並帶有 app=MyApp 的 label，此時就可以定義一個 Service 來作為這些 pod 前方的抽象層，透過 domain name 的方式提供服務

kind: Service
apiVersion: v1
metadata:
 name: my-service
spec:
 # type 一共有四種(ClusterIP, NodePort, LoadBalancer, ExternalName)
 # 預設是 ClusterIP
 type: ClusterIP
 # 選擇帶有 "app=MyApp" 的 pod
 selector:
 app: MyApp
 # Service 實際對外服務的設定
 ports:
 - protocol: TCP
 port: 80
 # 此為 Pod 對外開放的 port number
 targetPort: 9376

Pod <---> Endpoint(tcp:9376) <---> Service(tcp:80, with VIP)

25秒读取16GB文件，Go怎么做到的？

Mon, 22 Nov 2021 11:07:17 +0800

打开文件后，我们有以下两个选项可以选择：

逐行读取文件，这有助于减少内存紧张，但需要更多的时间。

一次将整个文件读入内存并处理该文件，这将消耗更多内存，但会显著减少时间。

由于文件太大，即 16 GB，因此无法将整个文件加载到内存中。但是第一种选择对我们来说也是不可行的，因为我们希望在几秒钟内处理文件。

但你猜怎么着，还有第三种选择。瞧……相比于将整个文件加载到内存中，在 Go 语言中，我们还可以使用 bufio.NewReader()将文件分块加载。


func main() {
 s := time.Now()
 args := os.Args[1:]
 if len(args) != 6 { // for format LogExtractor.exe -f "From Time" -t "To Time" -i "Log file directory location"
 fmt.Println("Please give proper command line arguments")
 return
 }
 startTimeArg := args[1]
 finishTimeArg := args[3]
 fileName := args[5]

 file, err := os.Open(fileName)
 if err != nil {
 fmt.Println("cannot able to read the file", err)
 return
 }

 defer file.Close() // close after checking err

 queryStartTime, err := time.Parse("2006-01-02T15:04:05.0000Z", startTimeArg)
 if err != nil {
 fmt.Println("Could not able to parse the start time", startTimeArg)
 return
 }

 queryFinishTime, err := time.Parse("2006-01-02T15:04:05.0000Z", finishTimeArg)
 if err != nil {
 fmt.Println("Could not able to parse the finish time", finishTimeArg)
 return
 }

 filestat, err := file.Stat()
 if err != nil {
 fmt.Println("Could not able to get the file stat")
 return
 }

 fileSize := filestat.Size()
 offset := fileSize - 1
 lastLineSize := 0

 for {
 b := make([]byte, 1)
 n, err := file.ReadAt(b, offset)
 if err != nil {
 fmt.Println("Error reading file ", err)
 break
 }
 char := string(b[0])
 if char == "\n" {
 break
 }
 offset--
 lastLineSize += n
 }

 lastLine := make([]byte, lastLineSize)
 _, err = file.ReadAt(lastLine, offset+1)
 if err != nil {
 fmt.Println("Could not able to read last line with offset", offset, "and lastline size", lastLineSize)
 return
 }

 logSlice := strings.SplitN(string(lastLine), ",", 2)
 logCreationTimeString := logSlice[0]

 lastLogCreationTime, err := time.Parse("2006-01-02T15:04:05.0000Z", logCreationTimeString)
 if err != nil {
 fmt.Println("can not able to parse time : ", err)
 }

 if lastLogCreationTime.After(queryStartTime) && lastLogCreationTime.Before(queryFinishTime) {
 Process(file, queryStartTime, queryFinishTime)
 }

 fmt.Println("\nTime taken - ", time.Since(s))
}

func Process(f *os.File, start time.Time, end time.Time) error {
 linesPool := sync.Pool{New: func() interface{} {
 lines := make([]byte, 250*1024)
 return lines
 }}

 stringPool := sync.Pool{New: func() interface{} {
 lines := ""
 return lines
 }}

 r := bufio.NewReader(f)

 var wg sync.WaitGroup

 for {
 buf := linesPool.Get().([]byte)

 n, err := r.Read(buf)
 buf = buf[:n]

 if n == 0 {
 if err != nil {
 fmt.Println(err)
 break
 }
 if err == io.EOF {
 break
 }
 return err
 }

 nextUntillNewline, err := r.ReadBytes('\n')

 if err != io.EOF {
 buf = append(buf, nextUntillNewline...)
 }

 wg.Add(1)
 go func() {
 ProcessChunk(buf, &linesPool, &stringPool, start, end)
 wg.Done()
 }()

 }

 wg.Wait()
 return nil
}

func ProcessChunk(chunk []byte, linesPool *sync.Pool, stringPool *sync.Pool, start time.Time, end time.Time) {
 var wg2 sync.WaitGroup

 logs := stringPool.Get().(string)
 logs = string(chunk)

 linesPool.Put(chunk)

 logsSlice := strings.Split(logs, "\n")

 stringPool.Put(logs)

 chunkSize := 300
 n := len(logsSlice)
 noOfThread := n / chunkSize

 if n%chunkSize != 0 {
 noOfThread++
 }

 for i := 0; i < (noOfThread); i++ {

 wg2.Add(1)
 go func(s int, e int) {
 defer wg2.Done() // to avaoid deadlocks
 for i := s; i < e; i++ {
 text := logsSlice[i]
 if len(text) == 0 {
 continue
 }
 logSlice := strings.SplitN(text, ",", 2)
 logCreationTimeString := logSlice[0]

 logCreationTime, err := time.Parse("2006-01-02T15:04:05.0000Z", logCreationTimeString)
 if err != nil {
 fmt.Printf("\n Could not able to parse the time :%s for log : %v", logCreationTimeString, text)
 return
 }

 if logCreationTime.After(start) && logCreationTime.Before(end) {
 // fmt.Println(text)
 }
 }
 }(i*chunkSize, int(math.Min(float64((i+1)*chunkSize), float64(len(logsSlice)))))
 }

 wg2.Wait()
 logsSlice = nil
}

Gin 框架绑定 JSON 参数使用 jsoniter

Mon, 22 Nov 2021 10:27:39 +0800

Gin 框架绑定 JSON 参数使用 jsoniter

simple

go build -tags=jsoniter ./...

custom

implement `BindingBody` interface

// github.com/gin-gonic/gin@v1.6.3/binding/binding.go:36
// Binding describes the interface which needs to be implemented for binding the
// data present in the request such as JSON request body, query parameters or
// the form POST.
type Binding interface {
 Name() string
 Bind(*http.Request, interface{}) error
}
// BindingBody adds BindBody method to Binding. BindBody is similar with Bind,
// but it reads the body from supplied bytes instead of req.Body.
type BindingBody interface {
 Binding
 BindBody([]byte, interface{}) error
}

package custom
import (
 "bytes"
 "fmt"
 "io"
 "net/http"
 jsoniter "github.com/json-iterator/go"
 "github.com/gin-gonic/gin/binding"
)
// BindingJSON 替换Gin默认的binding，支持更丰富JSON功能
var BindingJSON = jsonBinding{}
// 可以自定义jsoniter配置或者添加插件
var json = jsoniter.ConfigCompatibleWithStandardLibrary
type jsonBinding struct{}
func (jsonBinding) Name() string {
 return "json"
}
func (jsonBinding) Bind(req *http.Request, obj interface{}) error {
 if req == nil || req.Body == nil {
 return fmt.Errorf("invalid request")
 }
 return decodeJSON(req.Body, obj)
}
func (jsonBinding) BindBody(body []byte, obj interface{}) error {
 return decodeJSON(bytes.NewReader(body), obj)
}
func decodeJSON(r io.Reader, obj interface{}) error {
 decoder := json.NewDecoder(r)
 if binding.EnableDecoderUseNumber {
 decoder.UseNumber()
 }
 if binding.EnableDecoderDisallowUnknownFields {
 decoder.DisallowUnknownFields()
 }
 if err := decoder.Decode(obj); err != nil {
 return err
 }
 return validate(obj)
}
func validate(obj interface{}) error {
 if binding.Validator == nil {
 return nil
 }
 return binding.Validator.ValidateStruct(obj)
}

// binding.JSON 替换成自定义的
ctx.ShouldBindWith(ms, binding.JSON)
ctx.ShouldBindBodyWith(ms, binding.JSON)

Nginx 筆記

Fri, 19 Nov 2021 14:35:58 +0800

紀錄 Nginx 設定檔及說明

檔案結構

.
├── geoip.conf
├── nginx.conf
├── sites-available
│ ├── default.conf
├── sites-enabled
│ ├── default.conf -> ../sites-available/default.conf
├── upstream.conf

geoip.conf

## module: ngx_http_geoip2_module
## https://github.com/leev/ngx_http_geoip2_module
## 讀取 GeoIP 資料庫，並進行變數設定
geoip2 /usr/share/GeoIP/GeoLite2-Country.mmdb {
 auto_reload 60m;
 $geoip2_metadata_country_build metadata build_epoch;
 ## 自定義 $geoip2_data_country_code 值為 $remote_addr 對應的 ISO 3116 規範的國碼
 $geoip2_data_country_code source=$remote_addr country iso_code;
 ## 自定義 $geoip2_data_country_name 值為對應的英文城市名
 $geoip2_data_country_name country names en;
}

upstream.conf

## module: ngx_http_upstream_module
## 定義 server 組別
upstream to_nodejs1 {
 ## server address [parameters]; 定義 server
 ## parameters:
 ## weight=number 定義權重，預設為 1
 ## max_fails=number 設定到 upstream server 的最大重試次數，預設為 1
 ## fail_timeout=time 設定到達 max_fails 次數之後，暫停向此 upstream server 傳送請求的時間，預設為 10 秒
 ## backup 標記此 upstream server 為備用，當其他 upstream server 不可用時，此 upstream server 可接受請求
 ## down 標記此 upstream server 為不可用
 server 10.7.0.12:90 max_fails=3 fail_timeout=5s;
 server 10.7.0.12:91 max_fails=3 fail_timeout=5s backup;
}

upstream to_nodejs2 {
 server 10.7.0.12:92 max_fails=3 fail_timeout=5s;
 server 10.7.0.12:93 max_fails=3 fail_timeout=5s backup;
}

upstream to_nodejs95 {
 server 10.7.0.12:95 max_fails=3 fail_timeout=5s;
}

## module: ngx_http_map_module
## map string $variable { ... } 建立一個新的變數
map $arg_agent $game_api {
 ## $arg_agent 請求中 agent 的值(https://abc.com/?agent=123)
 ## agent=60037, $game_api 的值為 to_nodejs95
 60037 to_nodejs95;
 ## agent 結尾是 1, 2, 3, 或是 4, $game_api 的值為 to_nodejs1
 ~*1$ to_nodejs1;
 ~*2$ to_nodejs1;
 ~*3$ to_nodejs1;
 ~*4$ to_nodejs1;
 ## 若 agent 不符合上開規則，預設 $game_api 的值為 to_nodejs2
 default to_nodejs2;
}

default.conf

## module: ngx_http_limit_req_module
## 限制請求處理
## limit_req_zone key zone=name:size rate=rate [sync]; 定義限制請求的規則
limit_req_zone $binary_remote_addr$server_name zone=websocket:10m rate=1r/m;
## limit_req_status code; 設定被拒絕連線的 HTTP 狀態碼，預設為 503
limit_req_status 502;

## 設定虛擬主機
server {
 ## listen port [default_server] [ssl] [http2 | spdy] [proxy_protocol] [setfib=number] [fastopen=number] [backlog=number] [rcvbuf=size] [sndbuf=size] [accept_filter=filter] [deferred] [bind] [ipv6only=on|off] [reuseport] [so_keepalive=on|off|[keepidle]:[keepintvl]:[keepcnt]];
 ## 設定監聽的埠口，預設為 *:80
 ## 下方設定為監聽 80 port，且為預設的虛擬主機
 listen 80 default_server;
 ## server_name name ...; 設定虛擬主機名，可使用正則表示式，預設為 ""
 server_name _;

 access_log logs/default/default.log json;
 error_log logs/default/default.error.log warn;

 ## module: ngx_http_access_module
 ## allow address | CIDR | unix: | all; 允許 IP 訪問
 allow 1.1.1.1;
 ## deny address | CIDR | unix: | all; 禁止 IP 訪問
 deny 12.34.56.78;

 ## 設定請求訪問的根資料夾
 root /usr/share/nginx/html;
 ## limit_req zone=name [burst=number] [nodelay | delay=number]; 設定限制請求的規則 zone
 limit_req zone=websocket nodelay;
 ## limit_req_log_level info | notice | warn | error; 設定被拒絕連線的請求日誌等級，預設為 error
 limit_req_log_level warn;

 ## location [ = | ~ | ~* | ^~ ] uri { ... }
 ## location @name { ... } 依據請求的 URI 配置
 location / {
 default_type application/json;
 ## 返回 HTTP 狀態碼 200，並包含字串
 return 200 '{"Code": "$status", "IP": "$remote_addr"}';
 }
}


server {
 ## 下方設定為監聽 443 port，且為預設的虛擬主機，所有連線都使用 SSL
 listen 443 default_server ssl;
 server_name _;

 access_log logs/default/default.log json;
 error_log logs/default/default.error.log warn;
 ## module: ngx_http_ssl_module
 ## 設定 PEM 格式的證書
 ssl_certificate /etc/ssl/hddv1.com.crt;
 ## 設定 PEM 格式的密鑰
 ssl_certificate_key /etc/ssl/hddv1.com.key;
 ## 設定 SSL 版本，預設為 TLSv1 TLSv1.1 TLSv1.2
 ssl_protocols TLSv1.2 TLSv1.3;
 ## 設定啟用的加密方法，預設為 HIGH:!aNULL:!MD5
 ssl_ciphers "EECDH+ECDSA+AESGCM:EECDH+aRSA+AESGCM:EECDH+ECDSA+SHA384:EECDH+ECDSA+SHA256:EECDH+aRSA+SHA384:EECDH+aRSA+SHA256:EECDH+aRSA+RC4:EECDH:EDH+aRSA:HIGH:!RC2:!RC4:!aNULL:!eNULL:!LOW:!IDEA:!DES:!TDES:!3DES:!MD5:!EXP:!PSK:!SRP:!DSS:!EXPORT:!ANON";
 ## 為 DHE 加密法指定帶有 DH 參數的文件
 ssl_dhparam /etc/ssl/dhparams.pem;
 ## 是否優先使用 server 的加密法，預設為 off
 ssl_prefer_server_ciphers on;
 ## ssl_session_cache off | none | [builtin[:size]] [shared:name:size];
 ## 設定緩存及大小，預設為 none
 ssl_session_cache shared:SSL:1m;
 ## 設定 session 可重複使用的時間，預設為 5 分鐘
 ssl_session_timeout 5m;
 add_header X-Frame-Options "SAMEORIGIN";
 add_header X-XSS-Protection "1; mode=block";
 add_header Strict-Transport-Security "max-age=31536000; includeSubdomains; preload";

 root /usr/share/nginx/html;
 limit_req zone=websocket nodelay;
 limit_req_log_level warn;
 default_type application/json;

 location / {
 default_type application/json;
 return 200 '{"Code": "$status", "IP": "$remote_addr"}';
 }
}

nginx.conf

## module: ngx_core_module
## worker_processes number | auto; 啟動 Nginx worker 程序數量, 設定 auto 即和 CPU 的數量相等
worker_processes auto;
## worker_rlimit_nofile number; Nginx worker 程序最大打開文件數，預設為系統 RLIMIT_NOFILE
worker_rlimit_nofile 131072;
## worker_shutdown_timeout time; 設定關閉超時時間，當執行 reload 或是其他相關指令，超過 time 時間之後，Nginx 會主動關閉所有受影響的 worker
worker_shutdown_timeout 60;

## error_log file [level]; 設定錯誤日誌寫入位置
## debug, info, notice, warn, error, crit, alert, emerg
error_log logs/error.log warn;

## pid file; 主程序 ID 文件位置
pid logs/nginx.pid;

## module: ngx_core_module
## 設定連線處理相關
events {
 ## worker_connections number; 單個 Nginx worker 程序的最大並發連接數，預設為 512，需要小於 worker_rlimit_nofile
 ## 最大連接數 = worker_connections * worker_processes
 worker_connections 102400;

 ## accept_mutex on | off; 預設為 off
 ## 只有一個新連線進入，如果設定為 on，只有一個 worker 會接受連線，其餘持續休眠
 ## 如果設定為 off，所有 worker 會被喚醒，只有一個 worker 會接受連線，其餘重新休眠
 ## 業務上使用 TCP 長連線、流量大，off 的效能以及 QPS 表現較佳
 accept_mutex off;

 ## multi_accept on | off; 是否同時接受所有的請求，預設為 off
 multi_accept on;
}

## module: ngx_http_core_module
## 設定 HTTP server 相關
http {
 ## module: ngx_core_module
 ## include file | mask; 使用文件中的設定
 ## 下方為設定 MIME 類型,類型由 mime.type 文件定義
 include mime.types;

 ## default_type mime-type; 定義默認 MIME 類型，預設為 text/plain
 default_type application/octet-stream;
 ## server_names_hash_max_size size; 設定 server_name 的 hash 表最大值，預設為 512 kb
 server_names_hash_max_size 2048;
 ## 設定 server_name 的 hash 表的大小，用於快速找到對應的 server_name，預設值取決於 CPU 的 L1 cache
 server_names_hash_bucket_size 256;
 ## server_tokens on | off | build | string; 是否在 Nginx 錯誤頁面顯示 Nginx 版本，預設為 on
 server_tokens off;
 ## 是否在錯誤日誌記錄 404
 log_not_found off;
 ## 是否啟用 sendfile() 提高文件傳輸效率，預設為 off
 sendfile on;
 ## 文件是否使用完整封包發送，預設為 off
 tcp_nopush on;
 ## 數據是否儘快傳送，預設為 on
 tcp_nodelay on;
 ## 設定長連線持續秒數，超過時間 Nginx 會主動關閉連線，預設為 75
 keepalive_timeout 70;
 ## client_max_body_size size; 設定請求允許最大的 body 大小
 client_max_body_size 64M;

 ## module: ngx_http_gzip_module
 ## 是否啟用 gzip 壓縮，預設為 off
 gzip on;
 ## 設定要壓縮的 Content-Length 最小值，預設為 20
 gzip_min_length 1k;
 ## 設定壓縮緩衝大小，預設為一頁記憶體
 ## gzip_buffers number size;
 gzip_buffers 4 32k;
 ## 設定壓縮等級，範圍 1 ~ 9，預設為 1
 gzip_comp_level 7;
 ## 設定要壓縮的 MIME 類型，預設為 text/html
 gzip_types text/plain application/x-javascript text/css application/xml text/javascript application/x-httpd-php application/json;
 ## 是否在 HTTP response header 增加 Vary: Accept-Encoding，預設為 off
 gzip_vary on;
 ## 針對特定 User-Agent 禁用壓縮
 ## 下方為設定禁用 IE 6
 gzip_disable "MSIE [1-6]\.";

 ## resolver address ... [valid=time] [ipv6=on|off] [status_zone=zone]; 使用指定的 NS 解析 server_name, upstream server 等
 resolver 114.114.114.114 8.8.8.8 1.1.1.1;

 ## module: ngx_http_headers_module
 ## add_header name value [always]; 在 HTTP response header 增加欄位
 ## 下方為設定允許跨域
 add_header Access-Control-Allow-Origin *;
 add_header Access-Control-Allow-Headers DNT,X-CustomHeader,Keep-Alive,User-Agent,X-Requested-With,If-Modified-Since,Cache-Control,Content-Type;
 add_header Access-Control-Allow-Methods GET,POST,OPTIONS;
 add_header Access-Control-Expose-Headers 'WWW-Authenticate,Server-Authorization,User-Identity-Token';

 ## module: ngx_http_realip_module
 ## set_real_ip_from address | CIDR | unix:; 設定信任的可被替代的伺服器 IP，如反向代理伺服器
 set_real_ip_from 10.0.0.0/8;
 set_real_ip_from 172.16.0.0/12;
 set_real_ip_from 192.168.0.0/16;
 ## real_ip_header field | X-Real-IP | X-Forwarded-For | proxy_protocol; 定義使用哪個標頭取代獲取到的 client IP，預設為 X-Real-IP
 real_ip_header X-Forwarded-For;
 ## 將 real_ip_header 設定的標頭中，「最後一個非信任伺服器 IP」或是「最後一個 IP」當成真實 IP，預設為 off
 real_ip_recursive on;

 ## module: ngx_http_log_module
 ## log_format name [escape=default|json|none] string ...; 設定日誌格式
 log_format json escape=json '{"@timestamp":"$time_iso8601",'
 '"@source":"$server_addr",'
 '"ip":"$http_x_forwarded_for",'
 '"client":"$remote_addr",'
 '"request_method":"$request_method",'
 '"scheme":"$scheme",'
 '"domain":"$server_name",'
 '"client_host":"$host",'
 '"referer":"$http_referer",'
 '"request":"$request_uri",'
 '"args":"$args",'
 '"sent_bytes":$body_bytes_sent,'
 '"status":$status,'
 '"responsetime":$request_time,'
 '"upstreamtime":"$upstream_response_time",'
 '"upstreamaddr":"$upstream_addr",'
 '"http_user_agent":"$http_user_agent",'
 '"Country":"$geoip2_data_country_name",'
 '"State":"$geoip2_data_state_name",'
 '"City":"$geoip2_data_city_name",'
 '"all_agent":"$arg_agent",'
 '"dfw_agent":"$arg_proxy",'
 '"nw2_agent":"$arg_channel",'
 '"https":"$https"'
 '}';
 log_format main '$remote_addr - $remote_user [$time_local] "$request" '
 '$status $body_bytes_sent "$http_referer" '
 '"$http_user_agent" "$http_x_forwarded_for"';
 ## access_log path [format [buffer=size] [gzip[=level]] [flush=time] [if=condition]]; 設定日誌寫入位置以及使用的日誌名稱
 ## access_log off; 不紀錄日誌
 access_log logs/access.log json;
}

Golang os/exec 使用方法（筆記）

Fri, 12 Nov 2021 11:34:30 +0800

Golang os/exec 使用方法（筆記）

加入額外的環境參數再執行指令

cmd := exec.Command("programToExecute")
additionalEnv := "FOO=bar"
newEnv := append(os.Environ(), additionalEnv)
cmd.Env = newEnv
out, err := cmd.CombinedOutput()
if err != nil {
 log.Fatalf("cmd.Run() failed with %s\n", err)
}
fmt.Printf("%s", out)

在 Linux 下使用 os/exec + Pipe 或 Bash 運算式

rcmd := `iw dev | awk '$1=="Interface"{print $2}'`
cmd := exec.Command("bash", "-c", rcmd)
out, err := cmd.CombinedOutput()
if err != nil {
 log.Println(err.Error())
}
log.Println(string(out))

在 Windows 下使用 os/exec + Batch 運算式

cmd := exec.Command("cmd", "/c", "ffmpeg -i myfile.mp4 myfile.mp3 && del myfile.mp4")
out, err := cmd.CombinedOutput()
if err != nil {
 log.Println(err.Error())
}
log.Println(string(out))

解決 Windows CMD 在 os/exec 時會出現本地語言的問題

cmd := exec.Command("cmd", "/c", "chcp 65001 && netsh WLAN show drivers")
out, err := cmd.CombinedOutput()
if err != nil {
 log.Println(err.Error())
}
log.Println(string(out))

使用此方法得出的 output string 請記得把回傳的首行（chcp 的回傳結果）刪除掉再進行其他處理和讀取。

喬叔教 Elastic - 30 - Elasticsearch 的優化技巧 (4/4) - Shard 的最佳化管理

Wed, 10 Nov 2021 13:12:35 +0800

喬叔教 Elastic - 30 - Elasticsearch 的優化技巧 (4/4) - Shard 的最佳化管理

規劃時建議要考量的項目

Search 在執行時，一個 Shard 會分配一個 Thread，數量太多反而會拖慢速度

一個 Node 依照不同的功能分類有多種 Thread pool，其中 search (count/search/suggest) 的 size 是 int((# of allocated processors * 3) / 2) + 1 並且 queue_size 預設是 1000 ，而 write (index/delete/update/bulk) 的 size 是 # of allocated processors ，預設的 queue_size 也是 1000。( 官方文件 - Thread pools )

大多數的 searching 在執行時，查詢的資料是會橫跨多個 shards，而每個 shard 在搜尋時會使用一個 CPU thread 在處理執行，也就是：

Cloudflare 流量處理順序

Wed, 03 Nov 2021 13:11:29 +0800

流量處理順序

應用程式流量在 Cloudflare 邊緣節點會依下列順序處理：

DDoS
URL 重寫
頁面規則
IP 存取規則
Bot 管理
防火牆規則
速率限制
託管規則
標頭修改
存取控制
Workers

Markdown 語法的正則表達式

Fri, 29 Oct 2021 10:19:41 +0800

# Headings
headerOne = `(#{1}\s)(.*)`
headeTwo = `(#{2}\s)(.*)`
headerThree = `(#{3}\s)(.*)`
headerFour = `(#{4}\s)(.*)`
headerFive = `(#{5}\s)(.*)`
headerSix = `(#{6}\s)(.*)`
# Bold and Italic Text
boldItalicText = `(\*|\_)+(\S+)(\*|\_)+`
# Links
linkText = `(\[.*\])(\((http)(?:s)?(\:\/\/).*\))`
# Images
imageFile = `(\!)(\[(?:.*)?\])(\(.*(\.(jpg|png|gif|tiff|bmp))(?:(\s\"|\')(\w|\W|\d)+(\"|\'))?\)`
# Unordered List
listText = `(^(\W{1})(\s)(.*)(?:$)?)+`
# Numbered Text
numberedListText = `(^(\d+\.)(\s)(.*)(?:$)?)+`
# Block Quotes
blockQuote = `((^(\>{1})(\s)(.*)(?:$)?)+`
# Inline Code
inlineCode = "(\\`{1})(.*)(\\`{1})"
# Code Block
codeBlock = "(\\`{3}\\n+)(.*)(\\n+\\`{3})"
# Horizontal Line
horizontalLine = `(\=|\-|\*){3}`
# Email Text
emailText = `(\<{1})(\S+@\S+)(\>{1})`
# TABLES
tableText = `(((\|)([a-zA-Z\d+\s#!@'"():;\\\/.\[\]\^<={$}>?(?!-))]+))+(\|))(?:\n)?((\|)(-+))+(\|)(\n)((\|)(\W+|\w+|\S+))+(\|$)`

Google Cloud Platform(GCP)：透過 Windows 遠端桌面存取 GCP 執行個體上的 Linux GUI

Wed, 20 Oct 2021 16:15:48 +0800

Google Cloud Platform(GCP)：透過 Windows 遠端桌面存取 GCP 執行個體上的 Linux GUI

# This will install GUI and make it as a default startup option and then restart the machine.
$ sudo yum install xrdp tigervnc-server

~# sudo su
~# passwd
~# systemctl enable --now xrdp

~# netstat -antup | grep xrdp
tcp 0 0 0.0.0.0:3389 0.0.0.0:* LISTEN 10202/xrdp
tcp 0 0 127.0.0.1:3350 0.0.0.0:* LISTEN 10201/xrdp-sesman

【筆記】在GCP上建立可Remote dekstop的Ubuntu環境

Wed, 20 Oct 2021 16:14:47 +0800

【筆記】在 GCP 上建立可 Remote dekstop 的 Ubuntu 環境

install

# dependency
sudo apt-get install ubuntu-desktop gnome-panel gnome-settings-daemon metacity nautilus gnome-terminal

# VNC Server
sudo apt-get install vnc4server

# 安裝完成後先執行vncserver，會先跳出password設定的選項
vncserver

modify `~/.vnc/xstartup`

#!/bin/sh

# Uncomment the following two lines for normal desktop:
# unset SESSION_MANAGER
# exec /etc/X11/xinit/xinitrc

[ -x /etc/vnc/xstartup ] && exec /etc/vnc/xstartup
[ -r $HOME/.Xresources ] && xrdb $HOME/.Xresources
xsetroot -solid grey
vncconfig -iconic &
x-terminal-emulator -geometry 80x24+10+10 -ls -title "$VNCDESKTOP Desktop" &
x-window-manager &

gnome-panel &
gnome-settings-daemon &
metacity &
nautilus &

exec

# 殺掉目前執行的vncserver 然後重新執行
vncserver -kill :1
# vncserver預設是執行在port 5900上，如果在後面加上：1 就是5901以此類推
vncserver :1

設定 reboot 的時候自動執行 vncserver

@reboot /usr/bin/vncserver :1

一次搞懂密碼學中的三兄弟 — Encode、Encrypt 跟 Hash

Mon, 18 Oct 2021 14:24:01 +0800

一次搞懂密碼學中的三兄弟 — Encode、Encrypt 跟 Hash

編碼（Encoding）

不會修改資料、也沒有任何加密的效果，單純就是換個方式來表達資料而已，其中最有名的例子就是摩斯密碼

JavaScript 中有兩個很實用的 function 分別是 encodeURI 跟 decodeURI 把網址中的特殊字元（空白、標點符號等等）編碼成符合 URL 的格式

Base64 是一種可以把二進位的資料編碼成 ASCII 字元的方法

霍夫曼編碼（Huffman Coding） 一種用來進行無失真壓縮的編碼演算法，說穿了他的概念就是把常用的字記成縮寫，從而降低資料量、達到壓縮的效果

加密（Encrypt）

加密跟解密必須要有金鑰（Key）才能進行。以最簡單的凱薩加密法來說，他加密的方式就是把每個英文字母加上一個偏移量，這個偏移量就是用來執行加解密的 Key

AES (Advanced Encryption Standard) 是一種對稱加密演算法，所謂的對稱就是說加密解密都是用同一個 key，這點跟上面說到的凱薩加密法一樣，但 AES 不像凱薩的 key 只有 0-25 這麼少種，而是可以有超過 10³⁸ 種

RSA 這類非對稱加密法有個很特別的地方，就是他會產生一組兩個 Key 分別叫公鑰（Public Key）跟私鑰（Private Key），而且用公鑰加密的內容只能用私鑰解

雜湊（Hashing）

各個欄位/字元丟進去某個公式計算的方式就叫做雜湊（Hash），而這個計算公式就稱為雜湊函數（Hash function），過程可能會做各種加減乘除，最後算出一個值或字串，因為不可能由雜湊後的結果回推，所以雜湊的過程是不可逆的

Nginx 出現 500 Error 修復 (too many open file, connection)

Sat, 09 Oct 2021 11:51:06 +0800

Nginx 出現 500 Error 修復 (too many open file, connection)

Nginx 出現 500 Error, 錯誤訊息只能從 Log 查到, 有遇到下述兩種狀況:

socket() failed (24: Too many open files) while connecting to upstream

$ sudo su - www-data
$ ulimit -n # 看目前系統設定的限制 (ulimit -a # 可查看全部參數)
1024

# vim /etc/security/limits.conf # 由此檔案設定 nofile (nofile - max number of open files) 的大小
# 增加/修改 下述兩行
* soft nofile 655360
* hard nofile 655360

ulimit -n # 登出後, 在登入, 執行就會出現此值
655360

# 若 ulimit -n 沒出現 655360 的話, 可使用 ulimit -n 655360 # 強制設定
# 再用 ulimit -n 或 ulimit -Sn (驗證軟式設定)、ulimit -Hn (驗證硬式設定) 檢查看看(或 ulimit -a).

# 從系統面另外計算 + 設定
lsof | wc -l # 計算開啟檔案數量
sudo vim /etc/sysctl.conf
fs.file-max = 3268890
sudo sysctl -p

512 worker_connections are not enough while connecting to upstream

# /etc/nginx/nginx.conf
worker_connections 10240;

# 參考 Nginx CoreModule
# worker_processes 2;
# worker_rlimit_nofile 10240;
# events {
# # worker_connections 10240;
# }

# Nginx 的 connection 增加後, 整體速度會變慢很多, 主要原因是 php-cgi 不夠用, 所以要作以下調整.

# php-cgi was started with phpfcgid_children="10" and phpfcgid_requests="500"
# ab was run on another server, connect via a switch using GBit ethernet
# http://till.klampaeckel.de/blog/archives/30-PHP-performance-III-Running-nginx.html

# vim /etc/nginx/nginx.conf
worker_connections 10240;
worker_rlimit_nofile

# vim /etc/init.d/php-fcgi
PHP_FCGI_CHILDREN=15
PHP_FCGI_MAX_REQUESTS=1000
改成
PHP_FCGI_CHILDREN=512 # 或 150 慢慢加, 注意 MySQL connection 是否夠用
PHP_FCGI_MAX_REQUESTS=10240

# 上述文章的 phpfcgid_stop(), 寫得還不錯, 有需要可以用看看.
# phpfcgid_stop() {
# echo "Stopping $name."
# pids=`pgrep php-cgi`
# pkill php-cgi
# wait_for_pids $pids
# }

超簡單！快速打造漂亮又好用的 zsh 終端環境

Thu, 07 Oct 2021 08:44:18 +0800

利用 GPG 簽署 git commit

Tue, 05 Oct 2021 18:28:06 +0800

利用 GPG 簽署 git commit

Gitlab-CI Introduction

Fri, 24 Sep 2021 11:11:03 +0800

Gitlab CI

Concept

Gitlab

DevOps
GitOps

Workflow

code push -> pipeline -> stage -> job

Design

plan -> code -> build -> test -> release -> deploy -> operate -> monitor -> plan

Runner Executors

Shell
VirtualBox
Docker
Docker Machine
Kubernetes
Else…

References

Runner

Register

gitlab-runner register

After register

concurrent = 1
check_interval = 0

[session_server]
 session_timeout = 1800

[[runners]]
 name = "public-shell"
 url = "https://gitlab.go2cloudten.com/"
 token = "-mdH9OAOzG5yPsf_AVnW"
 executor = "shell"

[[runners]]
 name = "public-docker"
 url = "https://gitlab.go2cloudten.com/"
 token = "AcEGPPKTS1uuQ_A_qpWy"
 executor = "docker"
 [runners.docker]
 dns = ["192.168.185.5", "192.168.185.6"]
 tls_verify = false
 image = "registry.go2cloudten.com/it/office_sop/node:12.13.0"
 privileged = true
 disable_entrypoint_overwrite = false
 oom_kill_disable = false
 disable_cache = false
 shm_size = 0
 pull_policy = "if-not-present"
 volumes = ["/cache"]

Repository

.gitlab-ci.yaml

stages:
 - domain

check-icp:
 stage: domain
 image: registry.go2cloudten.com/it/office_sop/icp
 tags:
 - docker
 script:
 - domains=$(awk -F '|' '{if($6 ~ "Y" && ($7 ~ "West" || $7 ~ "Yuqu")) print $3}' domains-info.md | sed 's/ //g' | sort | uniq)
 - if [[ "${domains}" == "" ]]; then telegram.sh 'There is no domain in list' ; else telegram.sh 'Start checking ICP.' ; fi
 - for i in ${domains}; do result=$(checkicp ${i}); if [[ "${result}" == "未备案" ]];then telegram.sh "${i} 未备案"; sleep 1 ;fi;done
 - telegram.sh 'ICP check completed.'
 only:
 - schedules

SHELL编程之常用技巧

Wed, 22 Sep 2021 13:01:11 +0800

Docker Introduction

Fri, 17 Sep 2021 14:11:03 +0800

Docker

Concept

VM vs Container

VM - Base on OS
Container - Base on Application (Linux Kernel: Namespace and Cgroup)

Client to Server

Docker daemon - containerd, docker-containerd-shim, docker-runc
Docker client - cli command

docker cli -> docker daemon -> containerd -> runc -> namespace & cgroup

Image

Snapshots

Container

Read-Only processes on image

Hub / Registry

Store images

References

Docker commands

Dockerfile

ARG dist="/tmp/password"
ARG projectDir="/password"

FROM golang:1.16-alpine3.14 AS builder
RUN apk add build-base upx
ARG dist
ARG projectDir
WORKDIR ${projectDir}
COPY . .
RUN go build -trimpath -o main cmd/main.go
RUN upx -9 -o ${dist} main

FROM scratch
ARG dist
ENV TZ=Asia/Taipei
COPY --from=builder ${dist} /usr/local/bin/password

Dockerfile1

FROM alpine
CMD ["nc","-l","12345"]

Dockerfile2

FROM alpine
CMD ["echo","DOCKER"]

docker build command

docker build . -t program

docker build . -f Dockerfile -t test_mysql

docker build . -t hello:v1.1 --build-arg dist=/tmp/hello --build-arg projectDir=/hello

docker build

. docker/status
echo -e "${GREEN}Before build${RESET}"
docker image ls
docker build . -f docker/Dockerfile1 -t test1
docker build . -f docker/Dockerfile2 -t test2

docker image

. docker/status
echo -e "${GREEN}After build${RESET}"
docker image ls

docker run AND rm

. docker/status
echo -e "${GREEN}Run container1${RESET}"
docker run -d --name container1 test1
echo -e "${GREEN}Run container2${RESET}"
docker run -d --name container2 test2
echo -e "${GREEN}List alive containers${RESET}"
docker ps
echo -e "${GREEN}List all containers${RESET}"
docker ps -a
echo -e "${GREEN}Remove alive container${RESET}"
docker rm -f container1
echo -e "${GREEN}List all containers${RESET}"
docker ps -a
echo -e "${GREEN}Remove exit container${RESET}"
docker rm container2
echo -e "${GREEN}List all containers${RESET}"
docker ps -a

docker pull AND rmi

. docker/status
echo -e "${GREEN}List all image${RESET}"
docker image ls
echo -e "${GREEN}Pull alpine image${RESET}"
docker pull alpine
echo -e "${GREEN}List all image${RESET}"
docker image ls

docker rmi

. docker/status
echo -e "${GREEN}Remove alpine image${RESET}"
docker rmi alpine
echo -e "${GREEN}List all image${RESET}"
docker image ls

prune

docker system prune -f --volumes

docker history

. docker/status
echo -e "${GREEN}History of test1${RESET}"
docker history test1
echo -e "${GREEN}History of mysql:8${RESET}"
docker history mysql:8

Docker remote

Edit service file

# /lib/systemd/system/docker.service
ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock -H tcp://0.0.0.0:2375

Restart service

systemctl daemon-reload
systemctl restart docker

Specify DOCKER_HOST

. docker/status
echo -e "${GREEN}List images on 192.168.185.9${RESET}"
DOCKER_HOST=192.168.185.9:2375 docker images

Docker-compose

version: "3"

services:
 svn:
 image: zeyanlin/svn
 environment:
 - LDAP_HOSTS=${LDAP_HOSTS}
 - LDAP_BASE_DN=${LDAP_BASE_DN}
 - LDAP_BIND_DN=${LDAP_BIND_DN}
 - LDAP_ADMIN_PASS=${LDAP_ADMIN_PASS}
 ports:
 - 8000:80
 - 3690:3690
 depends_on:
 - ldap
 ldap:
 image: zeyanlin/openldap
 environment:
 - LDAP_DOMAIN=${LDAP_DOMAIN}
 - LDAP_ADMIN_PASS=${LDAP_ADMIN_PASS}
 ports:
 - 389:389
 - 636:636
 php:
 image: zeyanlin/phpldapadmin
 environment:
 - LDAP_HOSTS=${LDAP_HOSTS}
 ports:
 - 80:80
 depends_on:
 - ldap

Env

LDAP_HOSTS=ldap
LDAP_DOMAIN="knowhow.fun"
LDAP_BASE_DN="dc=knowhow,dc=fun"
LDAP_BIND_DN="cn=admin"
LDAP_ADMIN_PASS="123qwe"

Golang基准测试

Thu, 02 Sep 2021 12:50:33 +0800

Golang 基准测试

基本使用

基准测试常用于代码性能测试，函数需要导入 testing 包，并定义以 Benchmark 开头的函数，参数为 testing.B 指针类型，在测试函数中循环调用函数多次

➜ go test -bench=. -run=none
goos: darwin
goarch: amd64
pkg: pkg06
cpu: Intel(R) Core(TM) i7-8850H CPU @ 2.60GHz
BenchmarkFib-12 250 4682682 ns/op
PASS
ok pkg06 1.875s
➜ go test -bench=. -benchmem -run=none
goos: darwin
goarch: amd64
pkg: pkg06
cpu: Intel(R) Core(TM) i7-8850H CPU @ 2.60GHz
BenchmarkFib-12 249 4686452 ns/op 0 B/op 0 allocs/op
PASS
ok pkg06 1.854s

bench 的工作原理

基准测试函数会被一直调用直到 b.N 无效，它是基准测试循环的次数
b.N 从 1 开始，如果基准测试函数在 1 秒内就完成 (默认值)，则 b.N 增加，并再次运行基准测试函数
b.N 的值会按照序列 1,2,5,10,20,50,... 增加，同时再次运行基准测测试函数
上述结果解读代表 1 秒内运行了 250 次，每次 4682682 ns
-12 后缀和用于运行次测试的 GOMAXPROCS 值有关。与 GOMAXPROCS 一样，此数字默认为启动时 Go 进程可见的 CPU 数。可以使用 -cpu 标识更改此值，可以传入多个值以列表形式来运行基准测试

传入 cpu num 进行测试

➜ go test -bench=. -cpu=1,2,4 -benchmem -run=none
goos: darwin
goarch: amd64
pkg: pkg06
cpu: Intel(R) Core(TM) i7-8850H CPU @ 2.60GHz
BenchmarkFib 244 4694667 ns/op 0 B/op 0 allocs/op
BenchmarkFib-2 255 4721201 ns/op 0 B/op 0 allocs/op
BenchmarkFib-4 256 4756392 ns/op 0 B/op 0 allocs/op
PASS
ok pkg06 5.826s

count 多次运行基准测试

因为热缩放、内存局部性、后台处理、gc 活动等等会导致单次的误差，所以一般会进行多次测试

使用mydumper备份数据库

Wed, 01 Sep 2021 17:58:48 +0800

Docker 安全最佳實務：速查表

Fri, 20 Aug 2021 23:14:30 +0800

Docker 安全最佳實務：速查表

映像安全

使用可信任的映像

非特權使用者

FROM base_image
RUN addgroup -S appgroup && adduser -S appuser -G appgroup
USER appuser

User ID 命名空間

隔離命名空間，避免容器權限提升影響主機。

為了降低風險，請在主機與 Docker daemon 上使用 --userns-remap 選項設定獨立的命名空間。

容器執行期安全

禁止新增權限

為了提升安全性，建議在建立容器後明確禁止新增權限：--security-opt=no-new-privileges。

定義細粒度能力

例如，Web 伺服器可能只需要 NET_BIND_SERVICE 來綁定 80 連接埠。

控制資源使用

docker run --memory="400m" --cpus="0.5"

主機系統安全

敏感檔案系統區域

若需要存取主機設備，請謹慎以 [r|w|m] 旗標（read、write、mknod）開啟必要權限。

容器檔案系統存取

docker run --read-only --tmpfs /tmp:rw ,noexec,nosuid

持久化儲存

如果需要和主機檔案系統或其他容器共享資料，有兩種做法：

使用可限制磁碟空間的 bind mount（--mount type=bind,o=size）
為專用分割區建立 bind volume（--mount type=volume）

網路安全

Docker daemon socket

Docker 使用的 UNIX socket 不應暴露：/var/run/docker.sock

[译] Go语言inline内联的策略与限制

Sat, 14 Aug 2021 20:33:41 +0800

package main

import "fmt"

func main() {
 n := []float32{120.4, -46.7, 32.50, 34.65, -67.45}
 fmt.Printf("The total is %.02f\n", sum(n))
}

func sum(s []float32) float32 {
 var t float32
 for _, v := range s {
 if t < 0 {
 t = add(t, v)
 } else {
 t = sub(t, v)
 }
 }
 return t
}

func add(a, b float32) float32 { return a + b }
func sub(a, b float32) float32 { return a - b }

使用参数-gflags="-m"运行，可显示被内联的函数

./op.go:3:6: can inline add
./op.go:7:6: can inline sub
./main.go:16:11: inlining call to sub
./main.go:14:11: inlining call to add
./main.go:7:12: inlining call to fmt.Printf

可以看到 add 方法被内联了。但是，为什么 sum 方法没有被内联呢？使用运行参数-gflags="-m -m"可以看到原因：

SQL Join 類型視覺化解說

Fri, 13 Aug 2021 16:16:54 +0800

SQL Join 類型視覺化解說

Git 小技巧：用 .mailmap 合併不同作者

Thu, 05 Aug 2021 13:42:14 +0800

Git 小技巧：用 .mailmap 合併不同作者

.mailmap 檔案 ==> Name you want to keep <email> Name you no longer want <email>

John Doe John Doe
John Doe John Doe
John Doe john doe
Max Example Max

之前

$ git shortlog -se
 1 John Doe <John@Doe.org>
 1 John Doe <John@doe.org>
 2 John Doe <john@doe.org>
 1 Max <max@test.co.uk>
 3 Max Example <hi@test.com>
 1 john doe <john@doe.org>

之後

$ git shortlog -se
 5 John Doe <john@doe.org>
 4 Max Example <hi@test.com>

Go Modules 處理 Private GIT Repository 流程

Fri, 23 Jul 2021 09:40:39 +0800

Go Modules 處理 Private GIT Repository 流程

go env -w GOPRIVATE=github.com/appleboy
1. go env -w GONOPROXY=github.com/appleboy
2. go env -w GONOSUMDB=github.com/appleboy
git config --global url."https://$USERNAME:$ACCESS_TOKEN@github.com".insteadOf "https://github.com"
1. git config --global url.ssh://git@your.private.git/.insteadOf https://your.private.git/

Gin中文文档

Thu, 22 Jul 2021 15:55:48 +0800

自定义路由日志的格式

default

[GIN-debug] POST /foo --> main.main.func1 (3 handlers)
[GIN-debug] GET /bar --> main.main.func2 (3 handlers)
[GIN-debug] GET /status --> main.main.func3 (3 handlers)

import (
 "log"
 "net/http"

 "github.com/gin-gonic/gin"
)

func main() {
 r := gin.Default()
 gin.DebugPrintRouteFunc = func(httpMethod, absolutePath, handlerName string, nuHandlers int) {
 log.Printf("endpoint %v %v %v %v\n", httpMethod, absolutePath, handlerName, nuHandlers)
 }

 r.POST("/foo", func(c *gin.Context) {
 c.JSON(http.StatusOK, "foo")
 })

 r.GET("/bar", func(c *gin.Context) {
 c.JSON(http.StatusOK, "bar")
 })

 r.GET("/status", func(c *gin.Context) {
 c.JSON(http.StatusOK, "ok")
 })

 // Listen and Server in http://0.0.0.0:8080
 r.Run()
}

Gin 运行多个服务

package main

import (
 "log"
 "net/http"
 "time"

 "github.com/gin-gonic/gin"
 "golang.org/x/sync/errgroup"
)

var (
 g errgroup.Group
)

func router01() http.Handler {
 e := gin.New()
 e.Use(gin.Recovery())
 e.GET("/", func(c *gin.Context) {
 c.JSON(
 http.StatusOK,
 gin.H{
 "code": http.StatusOK,
 "error": "Welcome server 01",
 },
 )
 })

 return e
}

func router02() http.Handler {
 e := gin.New()
 e.Use(gin.Recovery())
 e.GET("/", func(c *gin.Context) {
 c.JSON(
 http.StatusOK,
 gin.H{
 "code": http.StatusOK,
 "error": "Welcome server 02",
 },
 )
 })

 return e
}

func main() {
 server01 := &http.Server{
 Addr: ":8080",
 Handler: router01(),
 ReadTimeout: 5 * time.Second,
 WriteTimeout: 10 * time.Second,
 }

 server02 := &http.Server{
 Addr: ":8081",
 Handler: router02(),
 ReadTimeout: 5 * time.Second,
 WriteTimeout: 10 * time.Second,
 }

 g.Go(func() error {
 return server01.ListenAndServe()
 })

 g.Go(func() error {
 return server02.ListenAndServe()
 })

 if err := g.Wait(); err != nil {
 log.Fatal(err)
 }
}

XML、JSON、YAML 和 ProtoBuf 渲染（输出格式）

SecureJSON

使用 SecureJSON 可以防止 json 劫持，如果返回的数据是数组，则会默认在返回值前加上"while(1)"

docker-compose yaml 問題

Mon, 19 Jul 2021 15:40:36 +0800

問題

# ./docker-compose up -d
Creating network "gogs_default" with the default driver
Creating gogs_mysql_1 ... done
Creating gogs_gogs_1 ... error

ERROR: for gogs_gogs_1 Cannot create container for service gogs: invalid port specification: "133342"

ERROR: for gogs Cannot create container for service gogs: invalid port specification: "133342"
ERROR: Encountered errors while bringing up the project.

services:
 gogs:
 ports:
 - 2222:22

YAML 支援所謂的「六十進位浮點數」，這對時間計算很有用。

因此，2222:22 會被解讀為 2222 * 60 + 22，也就是 133342。

如果連接埠包含大於 60 的數字，例如 3306:3306 或 8080:80，就不會有問題，所以這個問題不一定會出現，因而比較不容易察覺。

解法

services:
 gogs:
 ports:
 - "2222:22"

在瀏覽器輸入網址並送出後，到底發生了什麼事？

Sun, 18 Jul 2021 23:45:45 +0800

在瀏覽器輸入網址並送出後，到底發生了什麼事？

我就感觉到快 —— zsh 和 oh my zsh 冷启动速度优化

Thu, 15 Jul 2021 18:19:06 +0800

我就感觉到快 —— zsh 和 oh my zsh 冷启动速度优化

Profiling

# .zshrc
zmodload zsh/zprof

$ /bin/zsh
$ zprof

num calls time self name
-----------------------------------------------------------------------------------
 1) 1 395.66 395.66 33.10% 395.59 395.59 33.09% _zsh_nvm_auto_use
 2) 1 216.22 216.22 18.09% 216.13 216.13 18.08% nvm_die_on_prefix
 3) 1 648.00 648.00 54.20% 168.85 168.85 14.12% nvm_auto
 4) 2 479.15 239.57 40.08% 160.50 80.25 13.43% nvm
 5) 1 102.30 102.30 8.56% 84.99 84.99 7.11% nvm_ensure_version_installed
 6) 2 51.21 25.60 4.28% 29.55 14.78 2.47% compinit
 7) 1 680.18 680.18 56.89% 22.17 22.17 1.85% _zsh_nvm_load
 8) 2 21.66 10.83 1.81% 21.66 10.83 1.81% compaudit
 9) 1 17.31 17.31 1.45% 17.31 17.31 1.45% nvm_is_version_installed
10) 193 17.43 0.09 1.46% 14.50 0.08 1.21% _zsh_autosuggest_bind_widget
[Redacted]

zprof 模块只能获取每个 zsh 函数的用时，因此适合找出拖累 zsh 冷启动的 oh my zsh 的插件。如果要获取完整的 .zshrc 性能分析，应该使用 xtrace。在 .zshrc 开头添加如下命令

[網友好文]Cisco UCS CIMC系列文章

Thu, 15 Jul 2021 17:16:52 +0800

SQL 查詢不是從 SELECT 開始

Wed, 14 Jul 2021 18:11:46 +0800

SQL 查詢不是從 SELECT 開始

SQL 查詢實際執行順序

FROM/JOIN 以及所有 ON 條件
WHERE
GROUP BY
HAVING
SELECT（包含視窗函式）
ORDER BY
LIMIT

多數程式設計師不知道的 6 個 YAML 特性

Wed, 07 Jul 2021 15:08:31 +0800

多數程式設計師不知道的 6 個 YAML 特性

還有更多類似的危險例子，正如 Tom Ritchford 所指出

013 會被對應為 11，因為前導 0 會觸發八進位表示法
4:30 會被對應為 270。Max Werner Kaul-Gothe 與 Niklas Baumstark 告訴我，這會被自動轉換為分鐘（或秒）並被視為一段持續時間：4*60 + 30 = 270。有趣的是，這個模式在 1:1:1:1:1:1:1:1:4:30 仍然「可運作」。

多行字串

mail_signature: |
 Martin Thoma
 Tel. +49 123 4567

{ "mail_signature": "Martin Thoma\nTel. +49 123 4567" }

錨點

& 會定義一個名為 emailAddress 的變數，值為 "info@example.de"。* 則表示接著的是變數名稱。

email: &emailAddress "info@example.de"
id: *emailAddress

{ "email": "info@example.de", "id": "info@example.de" }

也可以對映射這樣做

foo: &default_settings
 db:
 host: localhost
 name: main_db
 port: 1337
 email:
 admin: admin@example.com
prod:
 <<: *default_settings
 app:
 port: 80
dev: *default_settings

{
 "foo": {
 "db": { "host": "localhost", "name": "main_db", "port": 1337 },
 "email": { "admin": "admin@example.com" }
 },
 "prod": {
 "app": { "port": 80 },
 "db": { "host": "localhost", "name": "main_db", "port": 1337 },
 "email": { "admin": "admin@example.com" }
 },
 "dev": {
 "db": { "host": "localhost", "name": "main_db", "port": 1337 },
 "email": { "admin": "admin@example.com" }
 }
}

型別轉換

雙驚嘆號 !! 在 YAML 中有特殊意義。它稱為「secondary tag handle」，是 !tag:yaml.org,2002 的簡寫。

用 Markdown 繪製圖表

Tue, 29 Jun 2021 15:55:35 +0800

用 Markdown 繪製圖表

ansible.builtin.slurp - 讀取檔案內容

Mon, 31 May 2021 17:15:04 +0800

ansible.builtin.slurp - 讀取檔案內容

---
- name: Use HTTP POST to upload file
 hosts: all

 tasks:
 - name: Read binary file content
 slurp:
 path: "/bin/ls"
 register: bin_file

 - name: Send HTTP POST Request
 uri:
 url: "https://your_server/upload.php"
 headers:
 Accept: "application/json"
 Content-Type: "application/octet-stream"
 method: POST
 validate_certs: false
 body: "{{ bin_file.content }}"
 status_code:
 - 200
 - 201
 register: upload_result

 - name: Display upload_result
 debug:
 var: upload_result

使用 slurp，就可以避掉 lookup(‘file’) 的限制。

可以讀取受控端主機上的檔案，也可以利用 delegate_to: localhost 來讀取主控端主機上的檔案。
可以讀取二進位檔案來做進一步處理，例如做 base64 編碼

Nginx - request_time和upstream_response_time详解

Fri, 14 May 2021 16:04:04 +0800

Nginx - request_time 和 upstream_response_time 详解

time definition

request_time

从接受用户请求的第一个字节到发送完响应数据的时间，即$request_time 包括接收客户端请求数据的时间、后端程序响应的时间、发送响应数据给客户端的时间(不包含写日志的时间)。

upstream_response_time

从 Nginx 向后端建立连接开始到接受完数据然后关闭连接为止的时间

upstream_connect_time

跟后端 server 建立连接的时间，如果是到后端使用了加密的协议，该时间将包括握手的时间。

upstream_header_time

接收后端 server 响应头的时间

如果把整个过程补充起来的话应该是：

［1用户请求］［2建立 Nginx 连接］［3发送响应］［4接收响应］［5关闭 Nginx 连接］

那么 upstream_response_time 就是 2+3+4+5
但是一般这里面可以认为 ［5关闭 Nginx 连接］ 的耗时接近 0
所以 upstream_response_time 实际上就是 2+3+4
而 request_time 是 1+2+3+4
二者之间相差的就是 ［1用户请求］的时间。

upstream_response_time 比 request_time 大

https://forum.nginx.org/read.php?21,284448,284450#msg-284450

$upstream_response_time 由 clock_gettime(CLOCK_MONOTONIC_COARSE)计算，默认情况下，它可以过去 4 毫秒，相反，$request_time 由 gettimeofday()计算。所以最终 upstream_response_time 可能比 response_time 更大。

在 bash 腳本中使用 here-doc 將資料寫入檔案

Fri, 07 May 2021 11:37:35 +0800

在 bash 腳本中使用 here-doc 將資料寫入檔案

使用 `EOF<<-` 讓 here-doc 在 shell 腳本中可自然縮排

command <<-EOF
 msg1
 msg2
 $var on line
EOF

使用 `'EOF'` 停用路徑/參數/變數展開、命令替換與算術展開

#!/bin/bash
OUT=/tmp/output.txt

echo "Starting my script..."
echo "Doing something..."
# No parameter and variable expansion, command substitution, arithmetic expansion, or pathname expansion is performed on word.
# If any part of word is quoted, the delimiter is the result of quote removal on word, and the lines in the here-document
# are not expanded. So EOF is quoted as follows
cat <<'EOF' >$OUT
 Status of backup as on $(date)
 Backing up files $HOME and /etc/
EOF

echo "Starting backup using rsync..."

升級到 Zabbix 5 後資料庫升級失敗

Mon, 03 May 2021 16:33:23 +0800

高效能 Go 工作坊

Wed, 28 Apr 2021 16:37:05 +0800

高效能 Go 工作坊

通过 Nginx 绕过 X-Frame-Options 限制

Mon, 26 Apr 2021 17:39:33 +0800

通过 Nginx 绕过 X-Frame-Options 限制

X-Frame-Options HTTP 响应头是用来给浏览器指示允许一个页面是否可以在 <frame>, <iframe>, <embed> 或者 <object> 中展现的标记。站点可以通过确保网站没有被嵌入到别人的站点里面，从而避免 Clickjacking 攻击。通过 Nginx 的作为正向代理，我们可以绕过 X-Frame-Options 限制成功的将第三方网页嵌入到自己的页面中。

X-Frame-Options 响应头有三个可能的值：

deny: 表示该页面不允许在 frame 中展示，即便是在相同域名的页面中嵌套也不允许。
sameorigin: 表示该页面可以在相同域名页面的 frame 中展示。
allow-from uri: 表示该页面可以在指定来源的 frame 中展示。

在 Chrome 尝试加载 frame 的内容时，如果 X-Frame-Options 响应头设置为禁止访问，那么 Chrome 会在控制台中显示如下错误。 Refuse to display 'http://192.168.20.101:8080' in a frame because it set 'X-Frame-Options' to 'deny'.

server {
 listen 8080;
 location / {
 proxy_hide_header X-Frame-Options;
 proxy_pass http://{target};
 }
}

这也当请求 http://{proxy_server}:8080 时，nginx 会做代理转发到 http://{target}，同时在返回结果的时候会隐藏掉 X-Frame-Options 相应头，这样我们自己的网页就能正常通过 iFrame 载入目标网页了。

Setting up JWT Authentication

Fri, 23 Apr 2021 11:13:34 +0800

SSH 失敗錯誤：fatal: daemon() failed: No such device

Thu, 04 Mar 2021 18:48:39 +0800

SSH 失敗錯誤：fatal: daemon() failed: No such device

/var/log/secure

Oct 10 10:58:05 vps sshd[23799]: fatal: daemon() failed: No such device

# rm -vf /dev/null
removed `/dev/null`
-bash-3.2# mknod /dev/null c 1 3
Started SSH and the SSH started responding:

# service sshd restart
Stopping sshd: [ OK ]
Starting sshd: [ OK ]
-bash-3.2# service sshd status
openssh-daemon (pid 30608) is running…

GitLab 啟用 Project integration - Mattermost slash commands

Thu, 28 Jan 2021 11:50:41 +0800

GitLab 啟用 Project integration - Mattermost slash commands

Nginx SSL/TLS configuration with TLSv1.2 and TLSv1.3 - ECDHE and strong ciphers suite (Openssl 1.1.1)

Fri, 22 Jan 2021 13:49:17 +0800

Nginx SSL/TLS configuration with TLSv1.2 and TLSv1.3 - ECDHE and strong ciphers suite (Openssl 1.1.1)

ssl.conf

##
# SSL Settings (TLSv1.2 and TLSv1.3)
##
ssl_protocols TLSv1.2 TLSv1.3;
ssl_ciphers 'TLS13+AESGCM+AES128:EECDH+AES128';
ssl_prefer_server_ciphers on;
ssl_session_cache shared:SSL:50m;
ssl_session_timeout 1d;
ssl_session_tickets off;
ssl_ecdh_curve X25519:sect571r1:secp521r1:secp384r1

universal-ssl.conf

##
# SSL Settings (TLSv1.0 + TLSv1.1 + TLSv1.2 + TLSv1.3)
##
ssl_protocols TLSv1 TLSv1.1 TLSv1.2 TLSv1.3;
ssl_ciphers 'TLS13+AESG+AES128:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES25GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:DHE-ECDSA-AES128-SHA:ECDHE-RSA-AES256-SHA384:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA:ECDHE-RSA-AES256-SHA:DHE-R-AES128-SHA256:DHE-RSA-AES128-SHA:DHE-RSA-AES256-SHA256:DHE-RSA-AES256-SHA:ECDHE-ECDSA-DES-CBC3-SHA:ECDHE-RSA-DES-CBC3-SHA:EDH-RSA-DES-CBC3-S:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:DES-CBC3-SHA:!DSS';
ssl_prefer_server_ciphers on;
ssl_session_cache shared:SSL:50m;
ssl_session_timeout 1d;
ssl_session_tickets off;
ssl_ecdh_curve X25519:sect571r1:secp521r1:secp384r1;

ZSH 自动读取 macOS 系统代理配置并设置环境变量

Mon, 11 Jan 2021 14:50:11 +0800

ZSH 自动读取 macOS 系统代理配置并设置环境变量

$ system_profiler SPNetworkDataType # 获取完整网络配置信息

$ networksetup -listallnetworkservices # 列举所有网络设备
$ networksetup -getwebproxy Wi-Fi # 获取特定网络设备的系统代理配置

$ scutil --proxy # 获取当前已启用的代理配置，是对 system_profiler 的封装

2021 on Ricky

Nginx怎样隐藏上游错误

Nginx 允许对以下 7 种可以进行重试的错误码启用 next upstream 功能

当上游返回 404 错误时，改为通过 200 返回一张找不到资源的图片

Argo CD ApplicationSet Controller: 世界為我而轉動！

golang的AES加密和解密的三种模式实现（CBC/ECB/CFB)

【理解 Cilium 系列文章】(一) 初識 Cilium

當前 k8s Service 負載均衡的實現現狀

Userspace

Iptables

Ipvs 模式

不使用 kube-proxy 的 Kubernetes

快速開始

Zsh tab 補完無法使用

問題

答案

Linkerd 2.8 - 實現超級簡單又安全的多叢集(multicluster) Kubernetes 架構

撰寫 Bash 腳本的最佳實務

使用 shift 讀取函式參數

宣告你的變數

Day 28 - Kubernetes 第三方好用工具介紹

Stern/Kail

K9S

值得了解的 5 個 DevSecOps 開源專案

Clair

Sigstore

KubeLinter

Open Policy Agent and Gatekeeper

Falco

[Kubernetes] Service Overview

定義 Service

搭配 selector

25秒读取16GB文件，Go怎么做到的？

Gin 框架绑定 JSON 参数使用 jsoniter

simple

custom

implement BindingBody interface

Nginx 筆記

紀錄 Nginx 設定檔及說明

檔案結構

geoip.conf

upstream.conf

default.conf

nginx.conf

Golang os/exec 使用方法（筆記）

加入額外的環境參數再執行指令

在 Linux 下使用 os/exec + Pipe 或 Bash 運算式

在 Windows 下使用 os/exec + Batch 運算式

解決 Windows CMD 在 os/exec 時會出現本地語言的問題

喬叔教 Elastic - 30 - Elasticsearch 的優化技巧 (4/4) - Shard 的最佳化管理

規劃時建議要考量的項目

Search 在執行時，一個 Shard 會分配一個 Thread，數量太多反而會拖慢速度

Cloudflare 流量處理順序

流量處理順序

Markdown 語法的正則表達式

Google Cloud Platform(GCP)：透過 Windows 遠端桌面存取 GCP 執行個體上的 Linux GUI

【筆記】在GCP上建立可Remote dekstop的Ubuntu環境

install

modify ~/.vnc/xstartup

exec

設定 reboot 的時候自動執行 vncserver

一次搞懂密碼學中的三兄弟 — Encode、Encrypt 跟 Hash

編碼（Encoding）

加密（Encrypt）

雜湊（Hashing）

Nginx 出現 500 Error 修復 (too many open file, connection)

socket() failed (24: Too many open files) while connecting to upstream

512 worker_connections are not enough while connecting to upstream

超簡單！快速打造漂亮又好用的 zsh 終端環境

利用 GPG 簽署 git commit

Gitlab-CI Introduction

Gitlab CI

Concept

Gitlab

Workflow

Design

Runner Executors

References

Runner

Register

implement `BindingBody` interface

modify `~/.vnc/xstartup`