與實(shí)戰(zhàn):Delphi網(wǎng)絡(luò)編程的TCP/SSL開發(fā)指南)
簡介Indy10網(wǎng)絡(luò)組件完整源碼包面向CBuilder 4~6、2006~2010、XE~XE8版本開發(fā)者解決在舊版與新版環(huán)境中安裝使用Indy10的難題。包內(nèi)提供全套Pascal源文件約380個(gè)pas、頭文件、工程文件、編譯腳本及已編譯成果涵蓋dpk、bpl、lib等關(guān)鍵類型支持通過批處理一鍵完成源碼編譯與組件安裝。壓縮包共含1507個(gè)文件整體約7.1MB結(jié)構(gòu)清晰可直接按版本選用對應(yīng)編譯腳本。與舊版Indy9相比Indy10在架構(gòu)和協(xié)議實(shí)現(xiàn)上有較大變化借助這份資源可避免逐一手動(dòng)配置庫路徑與組件注冊的繁瑣流程。已有370人學(xué)習(xí)下載適合需要快速集成Indy10網(wǎng)絡(luò)功能、規(guī)避手工配置風(fēng)險(xiǎn)的CBuilder項(xiàng)目開發(fā)者。1. Indy10到底是什么以及它憑什么能長期占據(jù)Delphi網(wǎng)絡(luò)庫的核心位置用Delphi寫網(wǎng)絡(luò)通信的程序員基本都會(huì)和Indy打交道。從Delphi 6時(shí)代開始Indy就是IDE自帶的網(wǎng)絡(luò)組件庫到了Delphi XE之后內(nèi)置的版本就一直是Indy10。剛開始用Indy10的人往往會(huì)覺得別扭——和Indy9的用法差別太大很多老的代碼直接搬過來根本編譯不過。但真正吃透它的設(shè)計(jì)思路之后你會(huì)發(fā)現(xiàn)這套架構(gòu)其實(shí)非常清晰用好了能省下大量造輪子的時(shí)間。Indy10全稱是Internet Direct是開源的網(wǎng)絡(luò)組件套件覆蓋了TCP、UDP、HTTP、FTP、SMTP、POP3、IMAP、SNMP、SSH、SSL/TLS等上百種協(xié)議。它不是簡單的接口封裝而是把網(wǎng)絡(luò)編程里反復(fù)出現(xiàn)的底層邏輯抽成了可復(fù)用的組件層。它的適用人群很明確用Delphi或CBuilder做桌面端網(wǎng)絡(luò)工具、自研服務(wù)端、客戶端通信模塊的開發(fā)者。如果你是剛開始接觸網(wǎng)絡(luò)編程的Delphi新手Indy10也是最合適的起點(diǎn)因?yàn)樗谠O(shè)計(jì)上把阻塞式網(wǎng)絡(luò)模型做到了極致簡單理解起來比事件驅(qū)動(dòng)類的異步框架直觀得多。值得多說一句的是Indy10的組件化理念本身就是它區(qū)別于很多網(wǎng)絡(luò)庫的關(guān)鍵。它把所有功能拆成可以組合的積木連接層、讀寫層、協(xié)議層、安全層各管各的用的時(shí)候拼在一起。這種思路和現(xiàn)在流行的組件化開發(fā)殊途同歸只不過Indy10在二十多年前就已經(jīng)按這個(gè)方向設(shè)計(jì)了。1.1 從Indy9到Indy10一次徹底的架構(gòu)重寫很多人不理解為什么Indy10和Indy9的代碼風(fēng)格差別這么大其實(shí)核心原因是架構(gòu)重寫了。Indy9的很多組件把連接邏輯、數(shù)據(jù)處理邏輯混在一起用起來直觀但擴(kuò)展性很差。Indy10則引入了一套上下文分離的抽象層把網(wǎng)絡(luò)連接中不同關(guān)注點(diǎn)拆開各做各的事。舉一個(gè)最簡單的例子在Indy9里一個(gè)TIdTCPServer的OnExecute事件里直接讀寫連接就行但I(xiàn)ndy10里這個(gè)連接被抽象成了AContext上下文對象真正的讀寫走的是AContext.Connection.IOHandler。聽上去繞了一層但好處是你可以直接拿到連接的信息、綁定的線程對象、自定義的數(shù)據(jù)存儲(chǔ)空間在寫多線程服務(wù)器時(shí)非常有用。從Indy9遷移到Indy10最常踩的坑有三個(gè)一是屬性名改了比如TIdHTTP的Request.Header屬性從字符串變成了TIdHeaderList對象二是事件參數(shù)變了服務(wù)端事件的參數(shù)從Socket句柄變成了TIdContext三是超時(shí)和讀寫緩沖區(qū)的機(jī)制不一樣了。如果你在維護(hù)老項(xiàng)目升到Indy10時(shí)一定要把這些差異單列出來逐項(xiàng)處理不要指望編譯通過就完事。1.2 不止是TCP/IPIndy10的協(xié)議全家桶Indy10覆蓋的協(xié)議范圍大得驚人下面這張表列的是最常用的一批分類組件用途TCP基礎(chǔ)TIdTCPClient / TIdTCPServer自定義TCP通信UDP基礎(chǔ)TIdUDPClient / TIdUDPServer廣播、音視頻、游戲同步HTTPTIdHTTP / TIdHTTPServerWeb API調(diào)用、本地服務(wù)郵件TIdSMTP / TIdPOP3 / TIdIMAP4收發(fā)郵件文件傳輸TIdFTP / TIdFTPServer文件上傳下載安全TIdSSLIOHandlerSocketOpenSSLTLS/SSL加密通道命令行TIdTelnet / TIdSSH遠(yuǎn)程管理這套協(xié)議全家桶意味著你做一個(gè)軟件從底層TCP通信到上層郵件通知全部可以用同一套組件庫搞定不需要東拼西湊引入三四個(gè)不同的第三方庫。而且Indy10是跨平臺(tái)的Windows、Linux、macOS都能用在FMXFireMonkey框架下也可以正常工作這在做跨平臺(tái)工具時(shí)非常香。2. 核心架構(gòu)拆解IOHandler、Context和Intercept看懂這三個(gè)就掌握了Indy10的命門Indy10的架構(gòu)核心其實(shí)就是三件事數(shù)據(jù)怎么讀寫、連接狀態(tài)怎么管理、數(shù)據(jù)流怎么加工。對應(yīng)的三個(gè)概念就是IOHandler、Context和Intercept。我見過不少開發(fā)者寫Indy10代碼寫了兩三年還是只會(huì)把組件拖到窗體上改改屬性一遇到問題就抓瞎。其實(shí)只要把這三層搞清楚大部分問題自己就能推理出答案。2.1 IOHandler所有數(shù)據(jù)讀寫的根基IOHandler是Indy10的靈魂全稱是Input/Output Handler。不管你是用TIdTCPClient還是TIdTCPServer所有的讀寫最終都落在IOHandler上。它做的事情很簡單把網(wǎng)絡(luò)字節(jié)流和Delphi的字符串、字節(jié)數(shù)組互轉(zhuǎn)。常用的讀寫方法有幾個(gè)ReadByte / ReadInteger / ReadString按類型讀數(shù)據(jù)Write / WriteLn寫數(shù)據(jù)ReadBytes / ReadStream讀原始字節(jié)流ReadTimeout / WriteTimeout控制超時(shí)這里有個(gè)重點(diǎn)Indy10默認(rèn)是阻塞式的讀寫方法會(huì)一直卡到數(shù)據(jù)到位或者超時(shí)。所以寫服務(wù)器代碼時(shí)要記住OnExecute事件本身就運(yùn)行在獨(dú)立的線程里不用額外開線程這是Indy10簡化并發(fā)的重要手段。而寫客戶端代碼時(shí)要把讀寫操作放到后臺(tái)線程否則界面會(huì)卡死。我常用的寫法是把IOHandler的讀寫超時(shí)設(shè)成固定值比如5秒這樣即使對方掉線也不會(huì)無限等下去。具體設(shè)置方式IdTCPClient1.IOHandler.ReadTimeout : 5000; // 毫秒2.2 Context連接的身份檔案在Indy10的服務(wù)器端每一個(gè)客戶端連接進(jìn)來都會(huì)對應(yīng)一個(gè)TIdContext對象。這個(gè)對象有點(diǎn)像HTTP里的Session它保存了當(dāng)前連接的狀態(tài)信息。你可以通過TIdContext訪問到對應(yīng)的連接、IOHandler也可以往它的Data屬性里放任何自己定義的數(shù)據(jù)。這設(shè)計(jì)解決了Indy9時(shí)代一個(gè)很麻煩的問題以前寫多線程服務(wù)器時(shí)要把Socket信息到處傳來傳去很容易出錯(cuò)。Indy10里直接通過Context就能定位到當(dāng)前連接同時(shí)Context和線程一一綁定處理并發(fā)時(shí)很清晰。procedure TForm1.IdTCPServer1Connect(AContext: TIdContext); begin // 每個(gè)連接進(jìn)來時(shí)給它一個(gè)獨(dú)立的記錄對象 AContext.Data : TClientInfo.Create(AContext.Connection.Socket.Binding.PeerIP); end;這里的注意點(diǎn)Context的生命周期要自己維護(hù)好連接斷開時(shí)記得釋放Data里掛著的對象不然內(nèi)存泄漏。在OnDisconnect事件里做清理是我個(gè)人比較推薦的慣例。2.3 Intercept數(shù)據(jù)流的中間濾鏡Intercept是Indy10里很有意思的一個(gè)擴(kuò)展點(diǎn)。它是一個(gè)掛在連接上的數(shù)據(jù)攔截器每次發(fā)送或接收數(shù)據(jù)時(shí)都會(huì)先經(jīng)過它處理。常見的用法是實(shí)現(xiàn)日志記錄、數(shù)據(jù)壓縮、簡單的自定義加密甚至做協(xié)議調(diào)試時(shí)的偷看工具。TIdIntercept本身是個(gè)抽象基類你可以繼承它實(shí)現(xiàn)自己的邏輯。還有幾個(gè)現(xiàn)成的子類可以用比如TIdLogFile可以把收發(fā)數(shù)據(jù)寫到日志文件調(diào)試協(xié)議格式時(shí)特別有用。3. 實(shí)操示例半小時(shí)搭一個(gè)基于TIdTCPServer的客戶端/服務(wù)端通信光講理論沒什么感覺我直接用一個(gè)具體的例子演示。場景很常見一個(gè)局域網(wǎng)內(nèi)的消息推送程序服務(wù)端運(yùn)行在Windows機(jī)器上客戶端連上來后可以接收實(shí)時(shí)消息。我會(huì)把關(guān)鍵代碼貼出來并且把容易出錯(cuò)的地方標(biāo)出來。3.1 服務(wù)端先讓監(jiān)聽跑起來拖一個(gè)TIdTCPServer到窗體上設(shè)置好默認(rèn)端口綁定OnExecute和OnConnect事件?;静襟E就三步procedure TForm1.FormCreate(Sender: TObject); begin IdTCPServer1.DefaultPort : 8600; IdTCPServer1.Bindings.Clear; IdTCPServer1.Bindings.Add.IP : 0.0.0.0; // 監(jiān)聽所有網(wǎng)卡 IdTCPServer1.Active : True; end; procedure TForm1.IdTCPServer1Execute(AContext: TIdContext); var s: string; begin // 阻塞讀一行客戶端發(fā)來數(shù)據(jù)后才繼續(xù) s : AContext.Connection.IOHandler.ReadLn; // 收到消息后轉(zhuǎn)發(fā)給所有在線客戶端 TForm1(Nil).BroadcastMessage(s); end;里面那個(gè)BroadcastMessage是我自己寫的方法用來把消息群發(fā)到所有連接。實(shí)現(xiàn)方式很簡單遍歷Contexts列表逐個(gè)寫入procedure TForm1.BroadcastMessage(const Msg: string); var i: Integer; Ctx: TIdContext; begin TIdContextList.LockList(IdTCPServer1.Contexts); try for i : 0 to IdTCPServer1.Contexts.Count - 1 do begin Ctx : IdTCPServer1.Contexts[i]; Ctx.Connection.IOHandler.WriteLn(Msg); end; finally TIdContextList.UnlockList(IdTCPServer1.Contexts); end; end;注意這里的鎖。Contexts列表是跨線程訪問的直接遍歷有并發(fā)風(fēng)險(xiǎn)必須要LockList。我一開始沒加鎖結(jié)果運(yùn)行一段時(shí)間后偶爾會(huì)出現(xiàn)List index out of bounds的報(bào)錯(cuò)排查了很久才找到原因。這個(gè)問題非常隱蔽建議所有涉及Contexts列表遍歷的地方都加上鎖。3.2 客戶端連接、發(fā)送、接收一整套客戶端的代碼更簡單。TIdTCPClient連上之后用IOHandler讀寫就行IdTCPClient1.Host : 127.0.0.1; IdTCPClient1.Port : 8600; IdTCPClient1.Connect; try IdTCPClient1.IOHandler.WriteLn(hello from client); Reply : IdTCPClient1.IOHandler.ReadLn; finally IdTCPClient1.Disconnect; end;這里有個(gè)值得說說的細(xì)節(jié)ReadLn默認(rèn)按換行符截?cái)嗨苑?wù)端和客戶端最好約好統(tǒng)一用WriteLn/Ln結(jié)尾寫數(shù)據(jù)不然讀端會(huì)一直阻塞等換行符導(dǎo)致雙方死等。如果你傳輸?shù)氖嵌M(jìn)制結(jié)構(gòu)體就用Write(AIdTCPClient.IOHandler, Buffer)配合ReadBytes來保證數(shù)據(jù)長度準(zhǔn)確。3.3 為什么阻塞模式反而是優(yōu)勢有些用慣了異步框架如Node.js、Netty的開發(fā)者會(huì)對Indy10的阻塞模式表示質(zhì)疑。實(shí)際上阻塞模式加上多線程在桌面工具這類場景下反而更省心。因?yàn)榫W(wǎng)絡(luò)邏輯可以順序?qū)懖恍枰鸦卣{(diào)函數(shù)拆得七零八落。Indy10每一個(gè)連接占一個(gè)線程連接數(shù)不多時(shí)完全夠用。但要注意線程開銷是真實(shí)存在的如果你的服務(wù)器要扛上千個(gè)長連接Indy10的性能就有瓶頸了。這時(shí)候可以考慮連接池、異步改造或者直接換用其他框架。不過話說回來桌面級工具和中小型內(nèi)部服務(wù)Indy10綽綽有余別過度設(shè)計(jì)。4. 核心細(xì)節(jié)解析TIdHTTP、SSL/TLS是繞不開的兩座山TCP自己寫協(xié)議適合私有通信但如果要對接外部系統(tǒng)的HTTP APITIdHTTP是出場率最高的組件。它兼顧了HTTP客戶端、HTTPS、上傳下載、Cookie管理等能力。用起來并不復(fù)雜但有幾個(gè)細(xì)節(jié)需要提前知道不然很容易掉坑。4.1 TIdHTTP的基本用法調(diào)用一個(gè)JSON接口核心代碼大致是這樣var HTTP: TIdHTTP; Response: string; begin HTTP : TIdHTTP.Create(nil); try HTTP.HandleRedirects : True; // 自動(dòng)跟隨302 HTTP.ReadTimeout : 10000; Response : HTTP.Get(https://api.example.com/data); // Response就是響應(yīng)體字符串 finally HTTP.Free; end; end;如果接口要求GET帶參數(shù)、POST帶JSON body也可以通過TIdHTTP的Request和Params參數(shù)實(shí)現(xiàn)。POST一個(gè)JSON字符串我習(xí)慣直接構(gòu)造好字符串丟給Get或Post比慢慢填ParamList方便HTTP.Request.ContentType : application/json; charsetutf-8; Response : HTTP.Post(https://api.example.com/submit, TStringStream.Create(jsonString));4.2 SSL/TLS配置一定記得處理DLL依賴HTTPS請求必須搭配SSL IOHandler否則TIdHTTP會(huì)直接報(bào)錯(cuò)。使用方法在窗體上放一個(gè)TIdSSLIOHandlerSocketOpenSSL把它的Host屬性和TIdHTTP.IOHandler關(guān)聯(lián)。但麻煩的點(diǎn)在于Indy10的SSL是基于OpenSSL的運(yùn)行時(shí)需要對應(yīng)版本的DLL文件。不同Delphi版本內(nèi)置的Indy10版本不一樣對應(yīng)的OpenSSL版本也會(huì)有差異。比如Delphi XE6時(shí)代常見的是OpenSSL 1.0.x而新版Delphi 11/12搭配的Indy10往往需要OpenSSL 1.1.1或更高。如果缺少DLL運(yùn)行時(shí)一般會(huì)報(bào)Could not load SSL library的錯(cuò)誤。解決辦法有兩個(gè)方向下載對應(yīng)版本的OpenSSL DLL舊版為libeay32.dll和ssleay32.dll新版為libssl-1_1-x64.dll和libcrypto-1_1-x64.dll放到程序運(yùn)行目錄或系統(tǒng)路徑中使用第三方封裝庫如TMS的SSL組件或SynCrypto直接靜態(tài)編譯進(jìn)程序省去DLL分發(fā)的煩惱。我個(gè)人做發(fā)布版工具時(shí)更傾向于把DLL整理到exe同級的DLL子目錄然后用代碼動(dòng)態(tài)加載這樣不會(huì)污染系統(tǒng)目錄卸載也干凈。如果你只做一個(gè)內(nèi)部小工具直接丟到exe目錄是最省事的方式。4.3 HTTPS證書校驗(yàn)失敗的排查思路另一個(gè)高頻問題是HTTPS證書校驗(yàn)失敗。如果目標(biāo)服務(wù)器用的證書鏈不完整、自簽名證書或者本地系統(tǒng)時(shí)間不對TIdHTTP都會(huì)拋?zhàn)C書校驗(yàn)異常。遇到這個(gè)問題先別急著跳過校驗(yàn)按這個(gè)順序排查確認(rèn)系統(tǒng)時(shí)間是否準(zhǔn)確在瀏覽器里訪問目標(biāo)地址看證書是否正常如果是自簽名或內(nèi)部CA可以在OnVerifyPeer事件里處理確認(rèn)證書指紋后放行實(shí)在不行再考慮完全跳過校驗(yàn)僅限內(nèi)網(wǎng)測試環(huán)境正式環(huán)境絕不建議。完全跳過校驗(yàn)的寫法procedure TForm1.IdSSLIOHandlerSocketOpenSSL1VerifyPeer( ASender: TObject; AOpenSSLObject: TIdOpenSSLOptions; var VVerifyResult: Boolean; var AVerified: Boolean); begin VVerifyResult : True; // 校驗(yàn)收到的證書 AVerified : True; // 標(biāo)記校驗(yàn)結(jié)果 end;注意這是最后的手段生產(chǎn)環(huán)境千萬不要這么干等于明文裸奔。5. 常見問題與排查技巧實(shí)錄這些坑我都幫你踩過這一節(jié)全部是我在實(shí)際項(xiàng)目中真實(shí)遇到的Indy10問題整理成速查表形式方便你用到的時(shí)候快速定位?,F(xiàn)象根因解決方法客戶端連不上服務(wù)器但又不報(bào)錯(cuò)默認(rèn)超時(shí)時(shí)間太長設(shè)置ConnectTimeout比如3000ms服務(wù)端一段時(shí)間后無響應(yīng)線程堆積調(diào)大ListenQueue檢查是否有連接未釋放中文亂碼編碼不一致統(tǒng)一使用UTF-8IOHandler.DefStringEncoding : IndyUTF8EncodingHTTP請求報(bào)Could not load SSL library缺少OpenSSL DLL按4.2節(jié)方法補(bǔ)DLLReadLn無限卡住對端沒發(fā)換行符改用ReadBytes指定長度或設(shè)置ReadTimeoutContexts列表越界多線程并發(fā)訪問遍歷用LockList/UnlockList上傳大文件內(nèi)存暴漲使用TStringStream載入全部內(nèi)容改為TFileStream流式傳輸5.1 編碼問題Delphi老鳥也容易翻車Delphi的string和網(wǎng)絡(luò)字節(jié)流之間不是直接相等的。TIdTCPClient的IOHandler在讀寫字符串時(shí)用什么編碼完全由DefStringEncoding屬性決定。早期版本默認(rèn)是ASCII一旦傳中文就會(huì)出現(xiàn)問號。我現(xiàn)在的統(tǒng)一標(biāo)準(zhǔn)是IdTCPClient1.IOHandler.DefStringEncoding : IndyUTF8Encoding; IdTCPServer1.IOHandler.DefStringEncoding : IndyUTF8Encoding;服務(wù)端和客戶端兩邊一致了中文才萬無一失。另外如果你接收的是HTTP響應(yīng)注意看響應(yīng)頭里的charset。有的老接口返回GBK編碼這時(shí)候需要用TIdTextEncoding手動(dòng)轉(zhuǎn)碼。5.2 連接的優(yōu)雅關(guān)閉和重連策略網(wǎng)絡(luò)程序里斷線重連是常態(tài)。Indy10的TIdTCPClient沒有內(nèi)置自動(dòng)重連機(jī)制需要自己加邏輯。我的做法是在后臺(tái)線程里循環(huán)嘗試連接失敗間隔遞增退避避免服務(wù)端一恢復(fù)就遭遇連接風(fēng)暴while not Terminated do begin if not IdTCPClient1.Connected then begin try IdTCPClient1.Connect; except Sleep(2000); // 失敗后等2秒再試 end; end else Sleep(100); // 已連接時(shí)降低輪詢頻率 end;需要說明的是Connected屬性本身只是表示連接對象存在并不代表鏈路仍然活躍。最好配合心跳機(jī)制定時(shí)發(fā)心跳包如果在超時(shí)時(shí)間內(nèi)沒收到任何數(shù)據(jù)就主動(dòng)斷開重新連接。這樣能及時(shí)發(fā)現(xiàn)半開連接避免資源白白占著。5.3 性能調(diào)優(yōu)的幾個(gè)小建議如果收發(fā)頻率很高把TIdTCPServer的UseNagle設(shè)為False禁用Nagle算法降低小數(shù)據(jù)包延遲大量小消息發(fā)送時(shí)考慮用WriteBuffer先攢一批再flush減少系統(tǒng)調(diào)用次數(shù)在服務(wù)器端OnExecute里盡量避免阻塞操作比如查詢數(shù)據(jù)庫、訪問文件有這類需求時(shí)放到獨(dú)立線程隊(duì)列里使用TIdSchedulerOfThreadPool代替默認(rèn)的線程調(diào)度器可以復(fù)用線程降低創(chuàng)建銷毀線程的開銷。這些優(yōu)化點(diǎn)都是在壓測時(shí)暴露出來的默認(rèn)配置下可能跑不出性能瓶頸但一旦并發(fā)量上來差距就非常明顯。6. 關(guān)于Indy10的現(xiàn)狀和我的使用心得Delphi社區(qū)關(guān)于Indy10是否過時(shí)的爭論一直沒停過。我的看法是Indy10的架構(gòu)確實(shí)老了API風(fēng)格也偏傳統(tǒng)但它依然是一個(gè)成熟、穩(wěn)定、跨平臺(tái)、文檔豐富的網(wǎng)絡(luò)組件庫。對于大多數(shù)業(yè)務(wù)系統(tǒng)它提供的功能遠(yuǎn)遠(yuǎn)夠用而且因?yàn)槭荌DE內(nèi)置組件維護(hù)成本最低。我在實(shí)際項(xiàng)目中用Indy10做得最多的三件事一是開發(fā)桌面工具與設(shè)備之間的TCP通信協(xié)議二是對接第三方平臺(tái)的HTTP API三是搭建內(nèi)部的小型消息推送服務(wù)。每次都靠它以最低成本完成了任務(wù)。如果你剛接觸Delphi網(wǎng)絡(luò)編程別急著學(xué)復(fù)雜的異步框架先把Indy10吃透很多場景根本不需要那么復(fù)雜的技術(shù)棧。最后再分享一個(gè)小技巧用Indy10做協(xié)議調(diào)試時(shí)配合Wireshark抓包再把TIdLogFile掛到連接上輸出收發(fā)數(shù)據(jù)兩邊對照著看可以很快速定位問題出在組包、編解碼還是網(wǎng)絡(luò)層。這套組合我用了很多年一直沒有失效過。本文還有配套的精品資源點(diǎn)擊獲取