在 Go 語言編程中，我們都知道首字母小寫的成員表明它是不公開的，即私有的。一般情況下，我們無法直接訪問一個包中的私有成員。然而，Go 語言提供了一些不尋常的手段允許我們在特定情況下繞過這一限制。在這篇文章中，我們將深入探討這些技巧，並通過詳細的說明和代碼示例來展示它們的使用方法。但在此必須提醒：這些方法很少用於生產環境，因爲它們破壞了封裝性，很容易帶來難以發現的 bug 和安全問題。在下文，我們 ⌘ Read more
在 Go 語言編程中，我們都知道首字母小寫的成員表明它是不公開的，即私有的。一般情況下，我們無法直接訪問一個包中的私有成員。然而，Go 語言提供了一些不尋常的手段允許我們在特定情況下繞過這一限制。在這篇文章中，我們將深入探討這些技巧，並通過詳細的說明和代碼示例來展示它們的使用方法。但在此必須提醒：這些方法很少用於生產環境，因爲它們破壞了封裝性，很容易帶來難以發現的 bug 和安全問題。在下文，我們 ⌘ Read more
網上很多文件基本都是多協程下載文件要麼就只有單協程的斷點續傳，這裏給大家寫一個支持有進度條的多協程下載文件，也支持斷點續傳。好了，直接看代碼就好了，小編已加上詳細的解釋與說明package mainimport ( "fmt" "io" "os" "regexp" "strconv" "sync" "github.com/qianlnk/pgbar")/\* 需求:1. 多協程下載文件2.斷點續連\* ⌘ Read more
網上很多文件基本都是多協程下載文件要麼就只有單協程的斷點續傳，這裏給大家寫一個支持有進度條的多協程下載文件，也支持斷點續傳。好了，直接看代碼就好了，小編已加上詳細的解釋與說明package mainimport ( "fmt" "io" "os" "regexp" "strconv" "sync" "github.com/qianlnk/pgbar")/\\* 需求:1. 多協程下載文件2.斷點續連\\* ⌘ Read more
在這個信息安全意識日益提高的時代，網絡安全人員需要可靠、靈活且強大的工具來進行日常的網絡掃描和數據收集。在衆多開源項目中，Project Discovery 的 httpx 無疑是一顆璀璨的明星。httpx 是一款能夠執行大量 HTTP 請求的命令行工具，旨在對 Web 服務進行多功能且快速的掃描。它支持 HTTP/2, 支持進行方法、頭等多種格式的複雜查詢，還能檢測 Web 服務器的許多面向安全 ⌘ Read more
01 介紹在 Go 語言項目開發中，我們處理組件層級之間的依賴關係時，通常我們會先在依賴層級的代碼中實例化被依賴層級，然後調用它的方法，即依賴方需要主動獲取被依賴方。但是，當被依賴層級的代碼發生變化時，依賴層級的代碼也需要修改，耦合性比較高，代碼不方便擴展。所謂依賴注入，即依賴方不再需要主動獲取被依賴方，而是被依賴方主動傳遞給依賴方。本文我們介紹 Go 語言怎麼使用依賴注入。02 Go 語言使用依 ⌘ Read more
在go中，協程co-routine被改爲goroutine，一個goroutine只佔幾 kb，因此可以有大量的goroutine存在，另一方面goroutine 的調度器非常靈活，本文給大家介紹下Go併發的方法之goroutine模型與調度策略，感興趣的朋友一起看看吧單進程操作系統早期的單進程操作系統，可以理解爲只有一個時間軸，CPU 順序執行每一個進程 / 線程，這種順序執行的方式，CPU 同 ⌘ Read more
前言你瞭解 Context 中的回溯鏈和樹結構嗎？想知道 Context 如何觸發級聯取消嗎？本文將換個角度聊一聊 golang 中的 context，讓你真正理解什麼是 Context。context 包中的代碼雖然只有 600 多行，但已經成爲了併發控制、超時控制的標準做法，可以說是真正的短小而精悍，是十分值得研讀的 Go 源碼之一。本文首先從整體的視角解析了 context 的主要接口和函數 ⌘ Read more
作者 \| 百度小程序團隊 導讀 introduction對於剛接觸 Golang 學習的同學，估計比較難掌握的知識點之一就是文件 IO 處理，光在基礎庫裏會發現 golang 除了 io 包提供文件處理外，os 包，http 包，embed 包都有提供類似的處理，由於 Golang 的繼承表達採用的是隱式的表達, 所以他們之間有什麼關係？能否相互轉換處理？是非常難一眼看出來的。本文就幫大家完整地 ⌘ Read more
作者 \\| 百度小程序團隊 導讀 introduction對於剛接觸 Golang 學習的同學，估計比較難掌握的知識點之一就是文件 IO 處理，光在基礎庫裏會發現 golang 除了 io 包提供文件處理外，os 包，http 包，embed 包都有提供類似的處理，由於 Golang 的繼承表達採用的是隱式的表達, 所以他們之間有什麼關係？能否相互轉換處理？是非常難一眼看出來的。本文就幫大家完整地 ⌘ Read more
原文地址：More powerful Go execution traces 原文作者：Michael Knyszek 本文永久鏈接： https://github.com/gocn/translator/blob/master/2024/w12morepowerfulgoexecutiontraces.md 譯者：小超人 Go 版本: 1.22+ ru ⌘ Read more
本教程將演示如何在 Go 中使用 OpenTelemetry，我們將手寫一個簡單的應用程序，並向外發送鏈路追蹤和指標數據。準備示例應用程序--------創建一個扔骰子的程序。在本地新建一個dice目錄，並進入該目錄下。mkdir dicecd dice執行 go mod 初始化。go mod init dice在同一目錄下創建 main.go 文件，並添加以下代碼。package mainimp ⌘ Read more
Recover 是一個 Go 語言的內建函數，可以讓進入宕機流程中的 goroutine 恢復過來，recover 僅在延遲函數 defer 中有效，在正常的執行過程中，調用 recover 會返回 nil 並且沒有其他任何效果，如果當前的 goroutine 陷入恐慌，調用 recover 可以捕獲到 panic 的輸入值，並且恢復正常的執行。通常來說，不應該對進入 panic 宕機的程序做任何 ⌘ Read more
你以前可能聽說過 Goroutine 調度器，但你對它的工作原理了解多少？它如何將 goroutine 與線程配對？不用着急理解上面的圖像, 因爲我們要從最基本的開始。goroutine 被分配到線程中運行, 這由 goroutine 調度器在後臺處理。根據我們之前的討論, 我們瞭解到以下關於 goroutine 的幾點:就原始執行速度而言, goroutine 並不一定比線程更快, 因爲它們需要 ⌘ Read more
雙向鏈表1）雙向鏈表的結構雙向鏈表結構中元素在內存中不是緊鄰空間，而是每個元素中存放上一個元素和後一個元素的地址第一個元素稱爲（頭）元素，前連接（前置指針域）爲 nil 最後一個元素稱爲 尾（foot）元素，後連接（後置指針域）尾 nil 雙向鏈表的優點在執行新增元素或刪除元素時效率高，獲取任意一個元素，可以方便的在這個元素前後插入元素 充分利用內存空間，實現內存靈活管理 ⌘ Read more
runtime/trace 包 1] 包含了一個強大的工具, 可用於理解和調試 Go 程序。該功能允許我們在一段時間內對每個 goroutine 的執行進行跟蹤。使用 go tool trace 命令 [2), 我們就可以可視化和探索這些跟蹤數據。跟蹤的魔力在於, 它可以輕鬆揭示程序中一些通過其他方式很難發現的問題。例如, 大量 goroutine 在同一個 channel 上阻塞導致的併發瓶頸, ⌘ Read more
在處理數據流（如 JSON、Gob 等）過程中，我們可能不知道底層數據的結構，這時mapstructure庫就能大顯身手了。這款 Go 語言庫可以將通用 map 值解碼爲 Go 本地結構，也可執行反向操作，並提供有用的錯誤處理功能。今天，我們就深入瞭解這個庫，並列舉一些豐富的示例來幫助你掌握它的使用方法。簡介--mapstructure是一款 Go 庫，允許開發者將map[string]inter ⌘ Read more
大家好，我是煎魚。日常看 Go 社區的一些新動態，發現大家對於錯誤處理的新提案是很積極。上次分享了一篇想要用 switch-case 來解決現狀的新提案，不少同學認爲不可行。沒想到 Go 社區的同學腦洞還是很大的，這幾天又整出來個 select-case 的新提案的方式來解決錯誤處理。今天基於此給大家分享一下社區裏的新腦洞。快速背景----本節的背景主要是給不瞭解的同學拉通一下。如果已經知道的可以 ⌘ Read more
推進 Go 的極限: 從 net.Dial 到系統調用、AFPACKET 和極速 AFXDP。數據包發送性能的基準測試。最近, 我編寫了一個 Go 程序, 向數百萬個 IP 地址發送 ICMP ping 消息 [1]。顯然, 我希望這個過程能儘可能快速高效地完成。因此, 這促使我研究各種與網絡棧交互和快速發送數據包的各種方法。這是一個有趣的旅程, 所以在本文中, 我將分享一些學習成果, 並記錄 ⌘ Read more
DIYSearchEngine 是一個能夠高速採集海量互聯網數據的開源搜索引擎，採用 Go 語言開發。Github 地址： https://github.com/johnlui/DIYSearchEngine 運行方法 首先，給自己準備一杯咖啡。把本項目下載到本地 編譯：go build -o ese \*.go 修改配置文件：cp .env.example .env，然後把裏面的 ⌘ Read more*
DIYSearchEngine 是一個能夠高速採集海量互聯網數據的開源搜索引擎，採用 Go 語言開發。Github 地址： https://github.com/johnlui/DIYSearchEngine 運行方法 首先，給自己準備一杯咖啡。把本項目下載到本地 編譯：go build -o ese \\*.go 修改配置文件：cp .env.example .env，然後把裏面的 ⌘ Read more*
編譯 \\| 核子可樂、凌敏來自 \\| InfoQ2024 年開年，Java “十億行挑戰”（1BRC）火爆外網。該挑戰賽要求開發者編寫一個 Java 程序，從一個包含十億行信息的文本文件中檢索溫度測量值，並計算每個氣象站的最小、平均值和最高溫度。“十億行挑戰” 的目標是爲這項任務創建最快的實現，同時探索現代 Java 的優勢。這項挑戰聽起來很簡單。但十億行代碼實際是一項龐大的工程，如果以每個數字 3 ⌘ Read more
編譯 \| 核子可樂、凌敏來自 \| InfoQ2024 年開年，Java “十億行挑戰”（1BRC）火爆外網。該挑戰賽要求開發者編寫一個 Java 程序，從一個包含十億行信息的文本文件中檢索溫度測量值，並計算每個氣象站的最小、平均值和最高溫度。“十億行挑戰” 的目標是爲這項任務創建最快的實現，同時探索現代 Java 的優勢。這項挑戰聽起來很簡單。但十億行代碼實際是一項龐大的工程，如果以每個數字 3 ⌘ Read more
大家好，我是煎魚。上年我們有討論過關於 Go arena 手動管理內存的相關提案。一開始還高歌猛進，但沒想到後面由於嚴重的 API 問題（想把 arena 應用到其他的標準庫中，但會引入大問題）：Go 核心團隊中途咕咕咕到現在，沒有新的推動和突破性進展，實屬尷尬。最近有社區的大佬有了新的動作，來自 Grafana 的 @Miguel Ángel Ortuño 開源了一個新的第三方庫 ortuman ⌘ Read more
在本文中，我們將探討 Go 中的結構化日誌記錄，並特別關注最近推出的 log/slog[1] 軟件包, 這個軟件包旨在爲 Go 帶來高性能、結構化和分級的日誌記錄標準庫。該軟件包起源於由 Jonathan Amsterdam 發起的 GitHub 討論 [2], 後來專門建立了一個提案 [3] 細化設計。一旦定稿，它在 Go v1.21 版本中發佈。在以下各節中，我將全面呈現 slog 的功能， ⌘ Read more
大家好，我是煎魚。作爲一個維護過許多有一定歷史沉澱的 Go 項目的人，在歷史債務下和奇葩需求下，會遇到一些迫於業務需求的技術訴求。訴求上是希望引用多項目，會出現從 main 包（package）中導入相關函數的這種使用訴求。爲了將多 Go 工程合併到一個大單體中使用。問題案例----具體的使用案例如下。我們有一個 Go 應用，目錄結構如下：demo1├── go.mod├── main.go└── ⌘ Read more
小許之前分享過標準庫 net/http 的實現原理，不過有個 fasthttp 的庫號稱比 net/http 快十倍呢！(畢竟名字就帶 fast 呢😆)哇，性能太強了吧，話不多說，本期小許和大家一起看看 fasthttp Server 端的底層實現，來看看到底是如何做到性能如此之快的，有哪些優秀的特性值得我們學習和借鑑的！Server 端處理流程對比在進行了解 fasthttp 底層代碼實現之前， ⌘ Read more
一、MySQL UDF-----------這玩意全稱 “MySQL user-definable function”, 從名字就可以看出來叫 “用戶定義的方法”; 那麼 UDF 到底是幹啥的呢?簡單一句話說就是說: 你可以自己寫點代碼處理數據, 然後把這段代碼編譯成動態鏈接庫 (so), 最後在 MySQL 中動態加載後用戶就可以用了.二、解決方案------由於要檢查數據庫, 但是實際上審查並 ⌘ Read more
Go 語言標準庫中的 log 包設計簡潔明瞭，易於上手，可以輕鬆記錄程序運行時的信息、調試錯誤以及跟蹤代碼執行過程中的問題等。使用 log 包無需繁瑣的配置即可直接使用。本文旨在深入探究 log 包的使用和原理，幫助讀者更好地瞭解和掌握它。使用先來看一個 log 包的使用示例：package mainimport "log"func main() { log.Print("Print") ⌘ Read more
背景提要在存儲系統中，在確保功能不受損的前提下，儘量的減少讀寫 I/O 的次數是優化的一個重要方向，也就是聚合 I/O 的場景。讀寫操作雖然都有聚合 I/O 的需求，但各自的重點和實現方法卻有所不同。接下來，我們將分別探討讀和寫請求的聚合優化方法。讀請求的聚合以讀操作中，緩存優化是一種常見的優化手段。具體做法是將讀取的數據存儲在內存中，並通過一個唯一的 Key 來索引這些數據。當讀請求來到時，如果 ⌘ Read more
Fasthttp 是一個高性能的 Golang HTTP 框架，它在設計上做了許多優化以提高性能。其中一個顯著的設計選擇是使用 slice 而非 map 來存儲數據，尤其是在處理 HTTP headers 時。爲什麼呢？本文將從簡單到複雜，逐步剖析爲什麼 Fasthttp 選擇使用 slice 而非 map，並通過代碼示例解釋這一選擇背後高性能的原因Slice vs Map：基本概念------- ⌘ Read more
\*一、分佈式配置的意義1.1 什麼是分佈式配置分佈式配置管理是指在分佈式系統中，對不同節點上的配置文件進行集中式、動態化管理。與傳統通過修改配置文件進行配置相比，分佈式配置管理系統具有以下優點:(1) 中心化管理: 配置集中放在配置服務器上, 方便管理和控制。(2) 動態更新: 支持在線動態修改配置, 服務端會主動推送配置文件更新到客戶端。(3) 高可用 & 數據一致性: 配置服務器會構建集羣防止 ⌘ Read more*
\\*一、分佈式配置的意義1.1 什麼是分佈式配置分佈式配置管理是指在分佈式系統中，對不同節點上的配置文件進行集中式、動態化管理。與傳統通過修改配置文件進行配置相比，分佈式配置管理系統具有以下優點:(1) 中心化管理: 配置集中放在配置服務器上, 方便管理和控制。(2) 動態更新: 支持在線動態修改配置, 服務端會主動推送配置文件更新到客戶端。(3) 高可用 & 數據一致性: 配置服務器會構建集羣防止 ⌘ Read more*
客戶端的內容將是如何發送請求和接收響應，走完客戶端就把整個流程就完整的串聯起來了！這次我把調用的核心方法和流程走讀的函數也貼出來，這樣看應該更有邏輯感，重要部分用紅色標記了一下，可以着重看下。先了解下核心數據結構 Client 和 Request。Client 結構體type Client struct { Transport RoundTripper CheckRedirect ⌘ Read more
在使用 Gin 框架時，獲取用戶請求的真實 IP 地址涉及到多種情況，尤其在使用代理服務器（如 Nginx）時。本文將詳細介紹如何使用 Gin 自帶方法和其他方式獲取用戶 IP，以及在面對 Nginx 轉發時如何準確獲取客戶端 IP，同時討論與 IP 相關的安全問題及處理方法。第一章：概述------1.1 獲取用戶真實 IP 的重要性獲取用戶的真實 IP 地址是許多應用中必不可少的功能，用於識別 ⌘ Read more
在現代複雜的分佈式系統環境中，對應用或系統進行性能診斷，這是一個極具挑戰性的任務。有時候，微服務的問題可能會影響到整個系統的鏈路，引發一系列難以追蹤的問題。對於使用 Go 語言的開發者來說，我們有幸的是，對於鏈路追蹤，我們有強大的工具——Go 的鏈路追蹤。什麼是鏈路追蹤？--------鏈路追蹤是一種性能優化策略，通過跟蹤和管理請求在應用環境中的路徑，我們可以更好地理解系統的行爲、性能瓶頸等問題。 ⌘ Read more
我們寫代碼的時候，經常會需要從數據庫裏讀取一些數據，比如配置信息或者諸如每週熱點商品之類的數據。如果這些數據既不經常變化，又需要頻繁讀取，那比起每次都去讀數據庫，更優的解決方案就是將它們放到應用的本地內存裏，這樣可以省下不少數據庫 IO，性能嘎一下就上來了。那麼現在問題就來了，假設我要在某個服務應用裏實現一個緩存組件去存各種類型的數據，該怎麼實現這個組件呢？從一個 map 說起---------- ⌘ Read more
\*負載均衡概述什麼是負載均衡負載均衡是指通過某種手段, 將任務合理地分配到多個操作單元上進行執行, 從而使得系統的負載分散在不同操作單元上, 避免因爲單個操作單元負載過高而影響請求服務能力的技術手段。比如將大量的客戶端請求分擔給多個服務器處理, 從而避免單個服務器超負荷工作對服務的影響。負載均衡的作用負載均衡主要有以下幾個作用: 1\. 降低單個服務器的壓力, 防止服務器過載; 2. 增 ⌘ Read more*
\\*負載均衡概述什麼是負載均衡負載均衡是指通過某種手段, 將任務合理地分配到多個操作單元上進行執行, 從而使得系統的負載分散在不同操作單元上, 避免因爲單個操作單元負載過高而影響請求服務能力的技術手段。比如將大量的客戶端請求分擔給多個服務器處理, 從而避免單個服務器超負荷工作對服務的影響。負載均衡的作用負載均衡主要有以下幾個作用: 1\\. 降低單個服務器的壓力, 防止服務器過載; 2. 增 ⌘ Read more*
僅僅通過對 struct 字段重新排序，優化內存對齊方式，就可以獲得明顯的內存和執行效率提升。原文: How to Speed Up Your Struct in Golang[1]如果你有 Golang 開發經驗，一定定義過 struct 類型。但可能你不知道，通過簡單的重新排序 struct 字段，可以極大提高 Go 程序的速度和內存使用效率！是不是難以置信？我們一起來看一下吧！簡單 De ⌘ Read more
在使用 Go 開發項目時，估計有不少人遇到過無法正確處理文件路徑的問題，特別是剛從如 PHP、python 這類動態語言轉向 Go 的朋友，已經習慣了通過相對源碼文件找到其他文件。這個問題能否合理解決，不僅關係到程序的可移植性，還直接影響到程序的穩定性和安全性。本文將嘗試從簡單到複雜，詳細介紹 Go 中獲取路徑的不同方法及應用場景。歡迎關注我的公衆號：引言首先，爲什麼要獲取文件路徑？一般來說，程序 ⌘ Read more
使用 Templ 在 Go 項目中高效生成動態內容的指南----------------------------動態內容生成是 Web 開發的一個基本方面。無論您是在構建網站、Web 應用程序還是 API，根據數據和模板生成動態內容的能力都至關重要。在 Go 編程世界中，一個名爲 “Templ” 的強大工具簡化了這一過程。在這份全面的指南中，我們將探索使用 Templ 進行 Go 模板化，它的關鍵 ⌘ Read more
Go 語言中的泛型是指一種語言特性，允許創建可以處理不同類型的函數、數據結構和接口。換句話說，泛型使得可以創建不受特定類型或數據結構限制的代碼。如果我們此前有使用 Java 或者 C++ 的經驗，那麼會很好理解。在 Go 語言引入泛型之前，開發人員必須編寫多個函數來處理不同類型的數據。這種方法通常很繁瑣，並導致代碼重複。有了泛型，開發人員可以編寫更簡潔和可重用的代碼，可以處理不同類型的數據。Go ⌘ Read more
在 Go 編程中，上下文（context）是一個非常重要的概念，它包含了與請求相關的信息，如截止日期和取消信息，以及在請求處理管道中傳遞的其他數據。在併發編程中，特別是在處理請求時，正確處理上下文可以確保我們尊重和執行請求中設定的限制，如截止時間。讓我們通過一些代碼示例來探討如何在併發計算中使用上下文，以及如何在處理請求時尊重上下文所設定的截止日期和取消要求。// download 函數用於下載給 ⌘ Read more
\*一、分佈式搜索引擎簡介(一) 概念分佈式搜索引擎通過在多臺服務器上分配索引和搜索負載, 實現索引和搜索吞吐能力的橫向擴展。主要特徵: 索引和搜索負載分佈在多臺服務器 支持大規模數據和訪問量 (二) 與集中式搜索引擎區別集中式搜索引擎在單個節點上完成全部工作, 硬件資源限制其擴展能力。分佈式搜索引擎通過分佈式計算技術, 實現可橫向擴展的大規模搜索引擎。(三) 優勢 處理更多文檔, 支持 ⌘ Read more*
\\*一、分佈式搜索引擎簡介(一) 概念分佈式搜索引擎通過在多臺服務器上分配索引和搜索負載, 實現索引和搜索吞吐能力的橫向擴展。主要特徵: 索引和搜索負載分佈在多臺服務器 支持大規模數據和訪問量 (二) 與集中式搜索引擎區別集中式搜索引擎在單個節點上完成全部工作, 硬件資源限制其擴展能力。分佈式搜索引擎通過分佈式計算技術, 實現可橫向擴展的大規模搜索引擎。(三) 優勢 處理更多文檔, 支持 ⌘ Read more*
Go Module 的設計採用了語義化版本規範，語義化版本規範非常流行且具有指導意義，本文就來聊聊語義化版本規範的設計和在 Go 中的應用。語義化版本規範語義化版本規範（SemVer）是由 Gravatars 創辦者兼 GitHub 共同創辦者 Tom Preston-Werner 所建立，旨在解決 依賴地獄 問題。它清楚明瞭的規定了版本格式、版本號遞增規：版本格式：採用 X.Y.Z 的格式，X ⌘ Read more
什麼是分佈式鎖？--------分佈式鎖是一種在分佈式系統中用於控制併發訪問的機制。在分佈式系統中，多個客戶端可能會同時對同一個資源進行訪問，這可能導致數據不一致的問題。分佈式鎖的作用是確保同一時刻只有一個客戶端能夠對某個資源進行訪問，從而避免數據不一致的問題。分佈式鎖的實現通常依賴於一些具有分佈式特性的技術，如 ZooKeeper、Redis、數據庫等。這些技術提供了在分佈式環境中實現互斥訪問的 ⌘ Read more
流水線設計模式對於順序處理業務數據非常有用，可以以一致的方式直觀的定義對數據的處理流程。原文: Using a Pipeline Pattern in Golang[1]到目前爲止，我已經將 Golang 整合到項目中有一段時間了，Golang 是一種非常強大的語言，我渴望在其生態系統中進一步磨練技能。基於項目的特定需求，我需要實現流水線模式 (Pipeline Pattern)，數據需要通過 ⌘ Read more
本文將深入探討如何在 Go 語言的 Gin 框架中集成 Let's Encrypt，以實現自動化管理 SSL/TLS 證書。Let's Encrypt 作爲一個免費、自動、開放的證書頒發機構，能讓 HTTPS 部署變得簡單便捷。通過該教程，您將瞭解到如何配置 Gin 以支持 HTTPS 服務，並自動從 Let's Encrypt 申請和續簽證書，確保 Web 應用的安全可靠性。爲什麼需要 Let' ⌘ Read more
Go 語言目前很火熱，一部分原因在於自身帶 “高併發” 的標籤，其本身就擁有優秀的併發量和吞吐量。1 協程可以無限創建嗎？我們在日常開發中會有高併發場景，有時會用多協程併發實現。在高併發業務場景，能否可以隨意開闢 goroutine 並且放養不管呢？畢竟有強大的 GC 和優越的 GMP 調度算法。看下面的代碼：package mainimport ( "fmt" "math" " ⌘ Read more
龍年春晚如期而至，想必大家都看（沒）完（眼）了（看）吧，今年春晚最搞笑節目，當屬劉謙的魔術：《守歲共此時》，不過笑點不是節目本身，而是本場魔術的 托兒（主持人）尼格買提。小尼：已經開始流汗了 😅。本文將帶大家一起用 Go 語言來還原下整個魔術的過程。 在開始寫代碼前，翻車畫面必須置頂 🤣：這是一個公式魔術，即有着固定的套路，從數學角度來看是一個「約瑟夫問題」（嚴格證明可以在網上搜到，如果你感興趣 ⌘ Read more
NATS JetStream 是一個高性能、持久化、分佈式消息隊列系統，它爲發佈 / 訂閱、隊列和流式處理提供了豐富的功能。在 Go 中實現 NATS JetStream 隊列可以通過 NATS 客戶端庫來完成。一、NATS JetStream 的歷史NATS JetStream 是 NATS 消息系統的一個重要組件，旨在提供持久性消息傳遞和流處理功能。下面是 NATS JetStream 的歷史 ⌘ Read more
\*1\. 延時任務系統介紹延時任務系統 (Delayed Job System) 是一種用於設置任務在將來的某個時刻自動觸發執行的機制。定義：延時任務系統使作業 / 任務能夠在未來的某個預定義時間運行。簡單來說, 就是一種可以設置任務在未來執行的系統。延時任務系統的主要特點是:時間觸發: 根據預設的時間來自動觸發任務執行可靠性: 具備容錯能力, 防止任務丟失擴展性: 可以水平擴展, 提高吞吐量靈活性 ⌘ Read more*
\\*1\\. 延時任務系統介紹延時任務系統 (Delayed Job System) 是一種用於設置任務在將來的某個時刻自動觸發執行的機制。定義：延時任務系統使作業 / 任務能夠在未來的某個預定義時間運行。簡單來說, 就是一種可以設置任務在未來執行的系統。延時任務系統的主要特點是:時間觸發: 根據預設的時間來自動觸發任務執行可靠性: 具備容錯能力, 防止任務丟失擴展性: 可以水平擴展, 提高吞吐量靈活性 ⌘ Read more*
本期作者衛智雄嗶哩嗶哩高級運維工程師一. 背景如下配置所示，我們在 /etc/resolv.conf 中配置了兩個 nameserver，其中 server2 在災備機房 ，作爲一種 failover 策略。nameserver server1nameserver server2options timeout:1 attempts:1我們的預期是如果 server1 服務正常，則所有的 DNS 請 ⌘ Read more
在本文中，我們將深入探討如何在 Go 語言的 Gin 框架中自定義路由日誌的格式。Gin 是一個高性能的 HTTP web 框架，它提供了一個默認的日誌格式，但在實際的開發環境中，我們可能需要根據特定的業務需求調整日誌輸出的格式。我們將從瞭解 Gin 的默認日誌格式開始，逐步地引導你自定義和擴展路由日誌的輸出方式。文章內容將詳實介紹相關的代碼實現，以確保你能夠在自己的工作中靈活運用。Gin 框架默 ⌘ Read more
大家好，我是煎魚。我們從一開始寫 Go 代碼和應用，就會被各種官方和民間教程，甚至 IDE 教導我們必須配一個 gofmt 工具。他能夠格式化 Go 程序的代碼。會使用製表符表示縮進，空白表示對齊。這解決了程序員屆的老大難問題之一，代碼格式上的規範問題。有效的提高了 Go 代碼的閱讀的友好度和減少了同事間的 \*\*\*\*。非常值得認可。但有時候，還是會看到一些糟心的代碼，總會覺得 gofmt，還是格式 ⌘ Read more
大家好，我是煎魚。我們從一開始寫 Go 代碼和應用，就會被各種官方和民間教程，甚至 IDE 教導我們必須配一個 gofmt 工具。他能夠格式化 Go 程序的代碼。會使用製表符表示縮進，空白表示對齊。這解決了程序員屆的老大難問題之一，代碼格式上的規範問題。有效的提高了 Go 代碼的閱讀的友好度和減少了同事間的 \\*\\*\\*\\*。非常值得認可。但有時候，還是會看到一些糟心的代碼，總會覺得 gofmt，還是格式 ⌘ Read more
項目地址: github.com/go-playground/validator/v10\\| 標記 \\| 標記說明 \\| 例 \\|\\| --- \\| --- \\| --- \\|\\| required \\| 必填 \\| Field 或 Struct validate:"required" \\|\\| omitempty \\| 空時忽略 \\| Field 或 Struct validate:"omitempty" \\|\\| len ⌘ Read more
項目地址: github.com/go-playground/validator/v10\| 標記 \| 標記說明 \| 例 \|\| --- \| --- \| --- \|\| required \| 必填 \| Field 或 Struct validate:"required" \|\| omitempty \| 空時忽略 \| Field 或 Struct validate:"omitempty" \|\| len ⌘ Read more
在 Web 開發中，模型綁定和驗證是確保數據完整性和減少安全風險的重要步驟。Go 語言的 Gin 框架提供了強大而靈活的模型綁定和驗證機制，本文將深入講解 Gin 框架中如何進行模型綁定和驗證，以及如何自定義驗證器。在 Gin 框架中，模型綁定通常指將請求的數據（例如 JSON、表單數據）綁定到指定的結構體上，而驗證則是確保綁定後的數據符合我們設置的規則。Gin 框架使用binding標籤來實現模 ⌘ Read more
Go 1.22 對 net/http包中的路由器進行了兩項增強：方式匹配和通配符。這些特性允許你將常見的路由表示爲模式，而非 Go 代碼。儘管這些功能簡單易解釋和使用，但想選擇成功模式的正確規則（當多個模式匹配一個請求時）依然是個挑戰。我們作出這些改變是爲了持續讓 Go 成爲構建生產系統的優秀語言。我們研究了許多第三方 web 框架，提取出我們認爲最常用的特性，並將它們集成進 net/http。然 ⌘ Read more
當我們使用 Go 的 Gin web 框架來構建 RESTful API 時，通常會遇到返回 JSON 響應的需求。Gin 框架提供了c.JSON方法來以 JSON 格式發送回覆，同時它會對特殊字符進行轉義，比如把 < 轉換爲 \\\\u003c。但在某些情況下，我們需要發送未轉義的 JSON 數據，這時我們就可以使用 Gin 框架中的c.PureJSON方法。在 Gin 框架中，c.PureJSON方 ⌘ Read more
當我們使用 Go 的 Gin web 框架來構建 RESTful API 時，通常會遇到返回 JSON 響應的需求。Gin 框架提供了c.JSON方法來以 JSON 格式發送回覆，同時它會對特殊字符進行轉義，比如把 < 轉換爲 \\u003c。但在某些情況下，我們需要發送未轉義的 JSON 數據，這時我們就可以使用 Gin 框架中的c.PureJSON方法。在 Gin 框架中，c.PureJSON方 ⌘ Read more
Go 語言 中，將整數（int）轉換爲字符串（string）是一項常見的操作。本文將從逐步介紹幾種在 Go 中將 int 轉換爲 string 的常見方法，並重點剖析這幾種方法在性能上的特點。另外，還會重點介紹 FormatInt 高效的算法實現。使用 strconv.Itoa-----------------最直接且常用的方法是使用 strconv 包中的 Itoa 函數。Itoa 是 “Int ⌘ Read more
Go 協程池解決的問題：當需要創建大量的goroutine的時候，如果不限定goroutine的數量，將是對程序的巨大災難 使用完的goroutinue可以複用繼續執行下一個任務（而不是立即銷燬），如果每次都是創建新goroutinue執行任務，頻繁的創建銷燬goroutinue導致利用率低下 項目地址 https://github.com/gofish2020/easygpool 歡 ⌘ Read more
在 Go 語言的 Gin 框架中，中間件和處理函數是處理 HTTP 請求的核心。有時候，我們需要在這些函數中啓動新的 Goroutine 來執行併發任務。然而，在 Goroutine 中直接使用 Gin 的上下文（gin.Context）可能會導致競態條件，因爲 Gin 的上下文不是併發安全的。本文將詳細介紹如何在 Gin 中間件或處理函數中正確地使用 Goroutine，並提供示例代碼來說明如何 ⌘ Read more
\*一、服務流量限制的重要性隨着業務規模的增長, 服務的流量也會激增, 大流量可能會壓垮服務器, 導致服務癱瘓。因此需對服務的流量進行限制, 確保在大流量的情況下也能正常運行。當流量激增時, 會佔用大量服務器資源和帶寬, 可能會壓垮整個系統。比如流量激增期間數據庫連接用盡, 會導致服務無法訪問數據庫而宕機。用限制流量可以有效防止流量暴增壓垮系統。沒有限流時, 流量激增期間會啓動很多無用的任務佔用服務 ⌘ Read more*
\\*一、服務流量限制的重要性隨着業務規模的增長, 服務的流量也會激增, 大流量可能會壓垮服務器, 導致服務癱瘓。因此需對服務的流量進行限制, 確保在大流量的情況下也能正常運行。當流量激增時, 會佔用大量服務器資源和帶寬, 可能會壓垮整個系統。比如流量激增期間數據庫連接用盡, 會導致服務無法訪問數據庫而宕機。用限制流量可以有效防止流量暴增壓垮系統。沒有限流時, 流量激增期間會啓動很多無用的任務佔用服務 ⌘ Read more*
在任何一個複雜的軟件項目中，日誌記錄是必不可少的。無論是調試程序、監控系統狀態，還是統計用戶行爲，日誌都扮演了重要的角色。在 Go 的世界裏，Gin 是一種快速，簡單，靈活，優雅的 Web 框架，同時也提供了豐富的日誌記錄功能。本文將分享在 Gin 項目中如何進行高效的日誌記錄。創建 Gin 實例與中間件使用---------------在創建 Gin 實例時，gin.Default()會默認加載 ⌘ Read more
JuiceFS 企業版是一款爲雲環境設計的分佈式文件系統，單命名空間內可穩定管理高達百億級數量的文件。構建這個大規模、高性能的文件系統面臨衆多複雜性挑戰，其中最爲關鍵的環節之一就是元數據引擎的設計。JuiceFS 企業版於 2017 年上線，經過幾年的不斷迭代和優化，在單個元數據服務進程使用 30 GiB 內存的情況下，能夠管理約 3 億個文件，並將元數據請求的平均處理時間維持在 100 微秒量級 ⌘ Read more
大家好，我是煎魚。Go1.22 有一個比較重要的新特性，那就是基於提案《net/http: enhanced ServeMux routing[1]》，增強了 http.ServerMux 的路由匹配能力。非常值得大家學習和關注。本次的新特性主要是新增了 HTTP 方法和路徑變量的支持。快速學習----在 Go 中，可以認爲幾乎所有的路由相關的庫都會基於 net/http 或是兼容其 interf ⌘ Read more
在使用 Gin 框架處理前端請求數據時，必須關注安全性問題，以防範常見的攻擊。本文將探討 Gin 框架中常見的安全問題，並提供相應的處理方法，以確保應用程序的穩健性和安全性。第一章：概述----------1.1 安全性的重要性處理前端請求數據時，確保應用程序的安全性是至關重要的。常見的攻擊方式包括 SQL 注入、跨站腳本攻擊（XSS）、跨站請求僞造（CSRF）等。下面我們將逐一探討這些問題及其處 ⌘ Read more
在 Go 語言中，控制 goroutine 的退出或取消很重要，這能使資源得到合理利用，避免潛在的內存泄露。如下是一些在 Go 中通知協程退出的常見方式：使用通道（Channel）：通過發送特定的信號或關閉通道來通知協程退出。這是最簡單直接的方法。 使用 context 包：context 包提供了一種更標準化的方式來傳遞取消信號、超時、截止時間等控制信息。 使用 sync.Wait ⌘ Read more
網絡上的安全問題一直是不能小覷的難題，尤其在 web 開發中，JSON 劫持就是其中的一種。這篇文章，我們將聚焦在 Go 框架 Gin 下的 SecureJSON 使用，來保護我們的 JSON 數據。什麼是 JSON 劫持？------------JSON 劫持是一種網絡攻擊手段，攻擊者利用 JavaScript 的這個特性獲取到不屬於自己的數據。由於 JSON 數據一般包含非常敏感的個人信息，例 ⌘ Read more
在 Go 1.21 中，引入了一個新的 log 包 -- log/slog，這是一個強大的日誌記錄庫，提供了許多用於幫助開發人員更加有效地記錄、管理和理解日誌的工具。無論你是一個初級還是高級的 Go 開發人員，理解和掌控 go 的日誌系統是非常有用的。接下來，讓我們深入研究一下 Go 中的日誌行爲，並通過實例來詳細理解每個主要功能。安裝--在 Go 1.21 中，log/slog 是系統自帶的，無 ⌘ Read more
本篇內容，是對極客兔兔: Go WebAssembly (Wasm) 簡明教程 [1] 的實踐與記錄，主體內容來自這篇博客，推薦閱讀原文。 是否需要搭建 wasm 環境？ WebAssembly 上手 [2]如果是 C/C++，需要藉助 emcc，將 C 和 C++ 代碼編譯到 WebAssembly 和 JavaScript。在 Mac 上，brew install emscripten然後 ⌘ Read more
\\*1\\. 請求路由的概念請求路由的定義：請求路由是指將客戶端的請求與服務器上對應的處理程序匹配和映射的過程。它決定了不同的 URL 或 API 請求被映射到哪些處理函數。請求路由的作用：請求路由實現了請求與處理函數之間的解耦，使代碼更加模塊化。同時，它也使得 URL 和 API 更符合 RESTful 設計規範。請求路由還可以實現諸如負載均衡、緩存、日誌記錄、身份驗證等功能。2. net/http ⌘ Read more*
\*1\. 請求路由的概念請求路由的定義：請求路由是指將客戶端的請求與服務器上對應的處理程序匹配和映射的過程。它決定了不同的 URL 或 API 請求被映射到哪些處理函數。請求路由的作用：請求路由實現了請求與處理函數之間的解耦，使代碼更加模塊化。同時，它也使得 URL 和 API 更符合 RESTful 設計規範。請求路由還可以實現諸如負載均衡、緩存、日誌記錄、身份驗證等功能。2. net/http ⌘ Read more*
背景最近的某個副業需要我寫一個腳本（腳本內容就不說了），需要通知羣成員，儘快地做出響應。所以去找一下 Go 是否有這樣的類庫。在這個腳本里面，我只需要發送信息的能力即可。openwechat在尋找了一會之後發現 https://github.com/eatmoreapple/openwechat 這個庫，這個庫支持以下能力：消息回覆、給指定對象（好友、羣組）發送文本、圖片、文件、emoji 表情等 ⌘ Read more
在 Go 中實現多租戶 (multi-tenancy) 通常涉及到下面幾個關鍵步驟：租戶識別: 你需要一個機制來區分請求是針對哪個租戶的。這可以通過多種策略實現，比如在 HTTP 請求的 URL、Header 或者是 Cookie 中嵌入租戶 ID。 數據隔離: 根據你選擇的數據隔離策略（如數據庫、schema 或者數據表的隔離），你需要確保租戶只能訪問到屬於他們的數據。 中間件 / ⌘ Read more
在 Web 應用程序中，有時候我們需要重啓或停止服務器，無論是因爲更新代碼還是進行例行維護。在這種情景下，我們需要保證應用程序的可用性和數據的一致性。這就需要優雅地關閉和重啓應用程序，即不丟失正在處理的請求和不拒絕新的請求。在本文中，我們將詳解如何在 Go 語言中使用 Gin 這個框架實現優雅的重啓和停止。什麼是優雅重啓和停止----------優雅地重啓或停止一個 Web 服務就是指當我們需要更 ⌘ Read more
前言 今天在某站上面看到一個大佬解釋 Golang 中的錯誤處理 err !=nil 時，直接用 Javascript 的 async/await 來解釋。async/await 語法糖在 C#， Python 和 Javascript 中是很常見的異步協程寫法，而在 Golang 中則是使用 goroutine 機制。這時習慣或者喜歡 async/await 語法糖的人可能就會有疑問：Gola ⌘ Read more=
在本文中，我們將深入討論 Go-Gin 的中間件，詳細瞭解它們呈現如何有效地在任何特定的 Web 應用程序中插播操作。此外，我們還將瀏覽一些示例，幫助大家更好地理解。什麼是中間件?-------在討論 Gin 中間件之前，首先我們需要明確中間件的概念。中間件基本上是一個函數，它在您的應用程序收到請求和發送響應之間插播處理。在實際開發中，中間件被廣泛用於處理如日誌記錄、身份驗證、會話管理等方面。Gi ⌘ Read more
前言今天分享下 Go 語言 net/http 標準庫的內部實現邏輯，文章將從客戶端 (Client)-- 服務端(Server) 兩個方向作爲切入點，進而一步步分析 http 標準庫內部是如何運作的。由於會涉及到不少的代碼流程的走讀，寫完後覺得放在一篇文章中會過於長，可能在閱讀感受上會不算很好，因此分爲【Server--Client 兩個篇文章】進行發佈。本文內容是【服務端 Server 部分】， ⌘ Read more
\\*一、錯誤處理機制Go 語言以結果多值返回方式處理錯誤, 函數或者方法最後一個返回值作爲錯誤類型。func ReadFile(filename string) ([]byte, error)調用時根據錯誤值判斷是否正常data, err := ReadFile("abc.txt")if err != nil { // 處理錯誤} else { // 處理data}error 類型及其意義 ⌘ Read more*
\*一、錯誤處理機制Go 語言以結果多值返回方式處理錯誤, 函數或者方法最後一個返回值作爲錯誤類型。func ReadFile(filename string) ([]byte, error)調用時根據錯誤值判斷是否正常data, err := ReadFile("abc.txt")if err != nil { // 處理錯誤} else { // 處理data}error 類型及其意義 ⌘ Read more*
前言我們在《用 eBPF/XDP 來替代 LVS》系列、《一張圖感受真實的 TCP 狀態轉移》系列，以及《如何終結已存在的 TCP 連接?》系列文章中，均通過純 C 語言和 libbpf1 這個庫來運用 eBPF。但是很多的場景中（尤其是雲原生場景），我們出於避免重複造輪子、更快的迭代速度、運行時安全等原因，會選擇 go 語言來進行開發，ebpf-go2 這個庫就是當前最好的選擇。今天，我們就對 ⌘ Read more
cmux 的作用-------- 一般情況下, 每個端口只能爲一個服務所用, 如果複用, 會報 "port is already in use"如果需要複用某個端口, 那麼可以使用 cmux 來實現 (其實大多數情況下必要性不大. 比如我就圖 8888 端口吉利, http/grpc 等服務都用這個端口)cmux[1] 全稱 Connection Mux, 是 Go 生態來複用端口的庫, 可 ⌘ Read more
\*一、信號 (signal) 處理信號是 Linux 系統下進程間通信的一種限制式異步通知機制。一個信號可以傳遞一個事件通知給一個進程, 代表一個異步事件。Go 語言內置了對信號的支持, 通過 os/signal 包可以實現 Go 程序對信號的處理。1.1 什麼是信號信號 (Signal) 是 Linux 系統下進程間通信的一種方式。當某個事件發生時, 內核會通知進程一個信號。進程接收到信號後, ⌘ Read more*
\\*一、信號 (signal) 處理信號是 Linux 系統下進程間通信的一種限制式異步通知機制。一個信號可以傳遞一個事件通知給一個進程, 代表一個異步事件。Go 語言內置了對信號的支持, 通過 os/signal 包可以實現 Go 程序對信號的處理。1.1 什麼是信號信號 (Signal) 是 Linux 系統下進程間通信的一種方式。當某個事件發生時, 內核會通知進程一個信號。進程接收到信號後, ⌘ Read more*
\\*1\\. HTTP 請求簡介HTTP(Hypertext Transfer Protocol) 是構建 web 應用通信的基石。HTTP 工作於客戶端 - 服務端架構上。HTTP 客戶端發起請求, 服務器接收請求並返回響應。HTTP 請求主要由請求行、請求頭、請求體組成請求行 GET /search?name=Golang HTTP/1.1請求頭部 Host: www.baidu ⌘ Read more*
\*1\. HTTP 請求簡介HTTP(Hypertext Transfer Protocol) 是構建 web 應用通信的基石。HTTP 工作於客戶端 - 服務端架構上。HTTP 客戶端發起請求, 服務器接收請求並返回響應。HTTP 請求主要由請求行、請求頭、請求體組成請求行 GET /search?name=Golang HTTP/1.1請求頭部 Host: www.baidu ⌘ Read more*
前言在日常開發中，我們可能會遇到需要延遲執行或週期性地執行一些任務。這個時候就需要用到 Go 語言中的定時器。在 Go 語言中，定時器類型有兩種：time.Timer 一次性定時器和 time.Ticker 週期性定時器。本文將會對這兩種定時器類型進行介紹。準備好了嗎？準備一杯你最喜歡的咖啡或茶，隨着本文一探究竟吧。Timer：一次性定時器Timer 是一個一次性的定時器，用於在未來的某一時刻執行 ⌘ Read more
背景介紹在微服務開發過程中，我們常常遇到各類問題。例如，REST 默認的標準難以踐行、在企業級規模上的挑戰、數據庫狀態管理、錯誤管理等等。以往，我們需要手動進行配置、對各個部分進行維護和測試。但隨着 Gofr 的出現，這一切都可以得到解決。今天要給大家推薦一個 GitHub 開源項目 gofr-dev/gofr，該項目在 GitHub 有差不多 1000 Star，用一句話介紹該項目就是：“An ⌘ Read more
作者 \| glstr導讀 introduction移動互聯網時代，長連接服務成爲了提升應用實時性和互動性的基礎服務。本文主要介紹了百度系內基於 golang 實現的統一長連接服務。主要從統一長連接功能實現和性能優化等角度，描述了統一長連接服務在設計、開發和維護過程中面臨的問題和挑戰，重點介紹瞭解決相關問題和挑戰的解決方案和實踐經驗。01摘要移動互聯網時代，用戶對服務的實時性、互動性有了更高的要求， ⌘ Read more
作者 \\| glstr導讀 introduction移動互聯網時代，長連接服務成爲了提升應用實時性和互動性的基礎服務。本文主要介紹了百度系內基於 golang 實現的統一長連接服務。主要從統一長連接功能實現和性能優化等角度，描述了統一長連接服務在設計、開發和維護過程中面臨的問題和挑戰，重點介紹瞭解決相關問題和挑戰的解決方案和實踐經驗。01摘要移動互聯網時代，用戶對服務的實時性、互動性有了更高的要求， ⌘ Read more
Kafka 是一種備受歡迎的流處理平臺，具備分佈式、可擴展、高性能和可靠的特點。在處理 Kafka 數據時，有多種最佳實踐可用來確保高效和可靠的處理。本文將介紹這些實踐方法，並展示如何使用 Sarama 來實現它們。Kafka 消費的最佳實踐取決於你的使用場景和需求，以下是一些建議：1 使用 Consumer Group： 在生產環境中，建議使用 Consumer Group，這樣可以確保多個消費 ⌘ Read more
01 介紹延遲隊列是一種數據結構，用於處理需要在未來某個特定時間執行的任務。這些任務被添加到隊列中，並且指定了一個執行時間，只有到達指定的時間點時才能從隊列中取出並執行。在實際應用中，延遲隊列可以用於處理各種需要延遲處理的任務，例如發送郵件提醒、訂單自動取消、對超時任務的處理等。由於任務的執行是在未來的某個時間點，因此這些任務不會立即執行，而是存儲在隊列中，直到它的預定執行時間纔會被執行。02 S ⌘ Read more
\*1\. Protobuf 簡介1.1 Protobuf 是什麼Protocol Buffers (簡稱 Protobuf) 是 Google 公司開源的一種輕便高效的結構化數據存儲格式, 以及用於序列化和反序列化結構化數據的代碼生成器。它可以用於通訊協議和數據存儲等領域。Protobuf 是以 .proto 文件形式定義結構化數據的方式和格式。並且通過代碼生成器生成各平臺 (Java、C++、Py ⌘ Read more*