背景說明: Kernel版本:4.14 ARM64處理器 使用工具:Source Insight 3.5, Visio
1. 概述從本文開始,將會針對PCIe專題來展開,涉及的內(nèi)容包括: PCI/PCIe總線硬件; Linux PCI驅(qū)動(dòng)核心框架; Linux PCI Host控制器驅(qū)動(dòng);
不排除會包含PCIe外設(shè)驅(qū)動(dòng)模塊,一切隨緣。 作為專題的第一篇,當(dāng)然會先從硬件總線入手。 進(jìn)入主題前,先講點(diǎn)背景知識。 在PC時(shí)代,隨著處理器的發(fā)展,經(jīng)歷了幾代I/O總線的發(fā)展,解決的問題都是CPU主頻提升與外部設(shè)備訪問速度的問題: PCIe(PCI Express) 是目前PC和嵌入式系統(tǒng)中最常用的高速總線,PCIe在PCI的基礎(chǔ)上發(fā)展而來,在軟件上PCIe與PCI是后向兼容的,PCI的系統(tǒng)軟件可以用在PCIe系統(tǒng)中。
本文會分兩部分展開,先介紹PCI總線,然后再介紹PCIe總線,方便在理解上的過渡,開始旅程吧。 2. PCI Local Bus2.1 PCI總線組成PCI總線(Peripheral Component Interconnect,外部設(shè)備互聯(lián)),由Intel公司提出,其主要功能是連接外部設(shè)備;
PCI Local Bus,PCI局部總線,局部總線技術(shù)是PC體系結(jié)構(gòu)發(fā)展的一次變革,是在 ISA總線和CPU總線之間增加的一級總線或管理層,可將一些高速外設(shè),如圖形卡、硬盤控制器等從ISA總線上卸下,而通過局部總線直接掛接在CPU總線上,使之與高速CPU總線 相匹配。PCI總線,指的就是PCI Local Bus。
先來看一下PCI Local Bus的系統(tǒng)架構(gòu)圖: 從圖中看,與PCI總線相關(guān)的模塊包括: Host Bridge,比如PC中常見的North Bridge(北橋); 圖中處理器、Cache、內(nèi)存子系統(tǒng)通過Host Bridge連接到PCI上,Host Bridge管理PCI總線域,是聯(lián)系處理器和PCI設(shè)備的橋梁,完成處理器與PCI設(shè)備間的數(shù)據(jù)交換。其中數(shù)據(jù)交換,包含處理器訪問PCI設(shè)備的地址空間和PCI設(shè)備使用DMA機(jī)制訪問主存儲器,在PCI設(shè)備用DMA訪問存儲器時(shí),會存在Cache一致性問題,這個(gè)也是Host Bridge設(shè)計(jì)時(shí)需要考慮的; 此外,Host Bridge還可選的支持仲裁機(jī)制,熱插拔等;
PCI Local Bus;PCI總線,由Host Bridge或者PCI-to-PCI Bridge管理,用來連接各類設(shè)備,比如聲卡、網(wǎng)卡、IDE接口等。可以通過PCI-to-PCI Bridge來擴(kuò)展PCI總線,并構(gòu)成多級總線的總線樹,比如圖中的PCI Local Bus #0和PCI Local Bus #1 兩條PCI總線就構(gòu)成一顆總線樹,同屬一個(gè)總線域;
PCI-To-PCI Bridge;PCI橋,用于擴(kuò)展PCI總線,使采用PCI總線進(jìn)行大規(guī)模系統(tǒng)互聯(lián)成為可能,管理下游總線,并轉(zhuǎn)發(fā)上下游總線之間的事務(wù);
PCI Device;PCI總線中有三類設(shè)備:PCI從設(shè)備,PCI主設(shè)備,橋設(shè)備。 PCI從設(shè)備:被動(dòng)接收來自Host Bridge或者其他PCI設(shè)備的讀寫請求; PCI主設(shè)備:可以通過總線仲裁獲得PCI總線的使用權(quán),主動(dòng)向其他PCI設(shè)備或主存儲器發(fā)起讀寫請求; 橋設(shè)備:管理下游的PCI總線,并轉(zhuǎn)發(fā)上下游總線之間的總線事務(wù),包括PCI橋、PCI-to-ISA橋、PCI-to-Cardbus橋等。
2.2 PCI總線信號定義PCI總線是一條共享總線,可以掛接多個(gè)PCI設(shè)備,PCI設(shè)備通過一系列信號與PCI總線相連,包括:地址/數(shù)據(jù)信號、接口控制信號、仲裁信號、中斷信號等。如下圖: 左側(cè)紅色框里表示的是PCI總線必需的信號,而右側(cè)藍(lán)色框里表示的是可選的信號; AD[31:00]:地址與數(shù)據(jù)信號復(fù)用,在傳送時(shí)第一個(gè)時(shí)鐘周期傳送地址,下一個(gè)時(shí)鐘周期傳送數(shù)據(jù);
C/BE[3:0]#:PCI總線命令與字節(jié)使能信號復(fù)用,在地址周期中表示的是PCI總線命令,在數(shù)據(jù)周期中用于字節(jié)選擇,可以進(jìn)行單字節(jié)、字、雙字訪問;
PAR:奇偶校驗(yàn)信號,確保AD[31:00]和C/BE[3:0]#傳遞的正確性;
Interface Control:接口控制信號,主要作用是保證數(shù)據(jù)的正常傳遞,并根據(jù)PCI主從設(shè)備的狀態(tài),暫停、終止或者正常完成總線事務(wù):
FRAME#:表示PCI總線事務(wù)的開始與結(jié)束;
IRDY#:信號由PCI主設(shè)備驅(qū)動(dòng),信號有效時(shí)表示PCI主設(shè)備數(shù)據(jù)已經(jīng)ready;
TRDY#:信號由目標(biāo)設(shè)備驅(qū)動(dòng),信號有效時(shí)表示目標(biāo)設(shè)備數(shù)據(jù)已經(jīng)ready;
STOP#:目標(biāo)設(shè)備請求主設(shè)備停止當(dāng)前總線事務(wù);
DEVSEL#:PCI總線的目標(biāo)設(shè)備已經(jīng)準(zhǔn)備好;
IDSEL:PCI總線在配置讀寫總線事務(wù)時(shí),使用該信號選擇PCI目標(biāo)設(shè)備;
Arbitration:仲裁信號,由REQ#和GNT#組成,與PCI總線的仲裁器直接相連,只有PCI主設(shè)備需要使用該組信號,每條PCI總線上都有一個(gè)總線仲裁器;
Error Reporting:錯(cuò)誤信號,包括PERR#奇偶校驗(yàn)錯(cuò)誤和SERR系統(tǒng)錯(cuò)誤;
System:系統(tǒng)信號,包括時(shí)鐘信號和復(fù)位信號;
看一下C/BE[3:0]都有哪些命令吧: 2.3 PCI事務(wù)模型PCI使用三種模型用于數(shù)據(jù)的傳輸: Programmed I/O:通過IO讀寫訪問PCI設(shè)備空間;
DMA:PIO的方式比較低效,DMA的方式可以直接去訪問主存儲器而無需CPU干預(yù),效率更高;
Peer-to-peer:兩臺PCI設(shè)備之間直接傳送數(shù)據(jù);
2.4 PCI總線地址空間映射PCI體系架構(gòu)支持三種地址空間: memory空間:針對32bit尋址,支持4G的地址空間,針對64bit尋址,支持16EB的地址空間;
I/O空間:PCI最大支持4G的IO空間,但受限于x86處理器的IO空間(16bits帶寬),很多平臺將PCI的IO地址空間限定在64KB;
配置空間:x86 CPU可以直接訪問memory空間和I/O空間,而配置空間則不能直接訪問; 每個(gè)PCI功能最多可以有256字節(jié)的配置空間; PCI總線在進(jìn)行配置的時(shí)候,采用ID譯碼方式,使用設(shè)備的ID號,包括Bus Number,Device Number,F(xiàn)unction Number和Register Number,每個(gè)系統(tǒng)支持256條總線,每條總線支持32個(gè)設(shè)備,每個(gè)設(shè)備支持8個(gè)功能,由于每個(gè)功能最多有256字節(jié)的配置空間,因此總的配置空間大小為:256B * 8 * 32 * 256 = 16M;
有必要再進(jìn)一步介紹一下配置空間:x86 CPU無法直接訪問配置空間,通過IO映射的數(shù)據(jù)端口和地址端口間接訪問PCI的配置空間,其中地址端口映射到0CF8h - 0CFBh,數(shù)據(jù)端口映射到0CFCh - 0CFFh ;
那具體的配置空間寄存器都是什么樣的呢?每個(gè)功能256Byte,前邊64Byte是Header,剩余的192Byte支持可選功能。有種類型的PCI功能:Bridge和Device,兩者的Header都不一樣。 Bridge
Device
CPU寫CF8h端口,其中寫的內(nèi)容如圖所示,BUS,Device,F(xiàn)unction能標(biāo)識出特定的設(shè)備功能,Doubleword來指定配置空間的具體某個(gè)寄存器; CPU可以IO讀寫CFCh端口,用于讀取步驟1中的指定寄存器內(nèi)容,或者寫入指定寄存器內(nèi)容。這個(gè)過程有點(diǎn)類似于通過I2C去配置外接芯片;
配置空間中有個(gè)寄存器字段需要說明一下:Base Address Register,也就是BAR空間,當(dāng)PCI設(shè)備的配置空間被初始化后,該設(shè)備在PCI總線上就會擁有一個(gè)獨(dú)立的PCI總線地址空間,這個(gè)空間就是BAR空間,BAR空間可以存放IO地址空間,也可以存放存儲器地址空間。 PCI總線取得了很大的成功,但隨著CPU的主頻不斷提高,PCI總線的帶寬也捉襟見肘。此外,它本身存在一些架構(gòu)上的缺陷,面臨一系列挑戰(zhàn),包括帶寬、流量控制、數(shù)據(jù)傳送質(zhì)量等; PCIe應(yīng)運(yùn)而生,能有效解決這些問題,所以PCIe才是我們的主角; 3. PCI Express3.1 PCIe體系結(jié)構(gòu)先看一下PCIe架構(gòu)的組成圖:
Root Complex:CPU和PCIe總線之間的接口可能會包含幾個(gè)模塊(處理器接口、DRAM接口等),甚至可能還會包含芯片,這個(gè)集合就稱為Root Complex,它作為PCIe架構(gòu)的根,代表CPU與系統(tǒng)其它部分進(jìn)行交互。廣義來說,Root Complex可以認(rèn)為是CPU和PCIe拓?fù)渲g的接口,Root Complex會將CPU的request轉(zhuǎn)換成PCIe的4種不同的請求(Configuration、Memory、I/O、Message);
Switch:從圖中可以看出,Swtich提供扇出能力,讓更多的PCIe設(shè)備連接在PCIe端口上;
Bridge:橋接設(shè)備,用于去連接其他的總線,比如PCI總線或PCI-X總線,甚至另外的PCIe總線;
PCIe Endpoint:PCIe設(shè)備;
圖中白色的小方塊代表Downstream端口,灰色的小方塊代表Upstream端口;
前文提到過,PCIe在軟件上保持了后向兼容性,那么在PCIe的設(shè)計(jì)上,需要考慮在PCI總線上的軟件視角,比如Root Complex的實(shí)現(xiàn)可能就如下圖所示,從而看起來與PCI總線相差無異: 而Switch的實(shí)現(xiàn)可能如下圖所示: 3.2 PCIe數(shù)據(jù)傳輸PCIe規(guī)范定義了分層的架構(gòu)設(shè)計(jì),包含三層: Transaction層 Data Link層 Physical層
數(shù)據(jù)包的封裝與解封裝,與網(wǎng)絡(luò)包的創(chuàng)建與解析很類似,如下圖: 封裝的時(shí)候,在Payload數(shù)據(jù)前添加各種包頭,解析時(shí)是一個(gè)逆向的過程; 來一個(gè)更詳細(xì)的PCIe分層圖: 3.3 PCIe設(shè)備的配置空間為了兼容PCI軟件,PCIe保留了256Byte的配置空間,如下圖: 此外,在這個(gè)基礎(chǔ)上將配置空間擴(kuò)展到了4KB,還進(jìn)行了功能的擴(kuò)展,比如Capability、Power Management、MSI中斷等: 擴(kuò)展后的區(qū)域?qū)⑹褂肕MIO的方式進(jìn)行訪問 參考《PCI Express Technology 3.0》
《pci local bus specification revision 3.0》
《PCIe體系結(jié)構(gòu)導(dǎo)讀》
《PCI Express系統(tǒng)體系結(jié)構(gòu)標(biāo)準(zhǔn)教材》
1. 概述
本文將分析Linux PCI子系統(tǒng)的框架,主要圍繞Linux PCI子系統(tǒng)的初始化以及枚舉過程分析;如果對具體的硬件缺乏了解,建議先閱讀上篇文章《Linux PCI驅(qū)動(dòng)框架分析(一)》;話不多說,直接開始。 2. 數(shù)據(jù)結(jié)構(gòu)PCI體系結(jié)構(gòu)的拓?fù)潢P(guān)系如圖所示,而圖中的不同數(shù)據(jù)結(jié)構(gòu)就是用于來描述對應(yīng)的模塊; Host Bridge連接CPU和PCI系統(tǒng),由struct pci_host_bridge描述; struct pci_dev描述PCI設(shè)備,以及PCI-to-PCI橋設(shè)備;
struct pci_bus用于描述PCI總線,struct pci_slot用于描述總線上的物理插槽;
來一張更詳細(xì)的結(jié)構(gòu)體組織圖: 總體來看,數(shù)據(jù)結(jié)構(gòu)對硬件模塊進(jìn)行了抽象,數(shù)據(jù)結(jié)構(gòu)之間也能很便捷的構(gòu)建一個(gè)類似PCI子系統(tǒng)物理拓?fù)涞年P(guān)系圖; 頂層的結(jié)構(gòu)為pci_host_bridge,這個(gè)結(jié)構(gòu)一般由Host驅(qū)動(dòng)負(fù)責(zé)來初始化創(chuàng)建; pci_host_bridge指向root bus,也就是編號為0的總線,在該總線下,可以掛接各種外設(shè)或物理slot,也可以通過PCI橋去擴(kuò)展總線;
3. 流程分析3.1 設(shè)備驅(qū)動(dòng)模型Linux PCI驅(qū)動(dòng)框架,基于Linux設(shè)備驅(qū)動(dòng)模型,因此有必要先簡要介紹一下,實(shí)際上Linux設(shè)備驅(qū)動(dòng)模型也是一個(gè)大的topic,先挖個(gè)坑,有空再來填。來張圖吧: 簡單來說,Linux內(nèi)核建立了一個(gè)統(tǒng)一的設(shè)備模型,分別采用總線、設(shè)備、驅(qū)動(dòng)三者進(jìn)行抽象,其中設(shè)備與驅(qū)動(dòng)都掛在總線上,當(dāng)有新的設(shè)備注冊或者新的驅(qū)動(dòng)注冊時(shí),總線會去進(jìn)行匹配操作(match函數(shù)),當(dāng)發(fā)現(xiàn)驅(qū)動(dòng)與設(shè)備能進(jìn)行匹配時(shí),就會執(zhí)行probe函數(shù)的操作; 從數(shù)據(jù)結(jié)構(gòu)中可以看出,bus_type會維護(hù)兩個(gè)鏈表,分別用于掛接向其注冊的設(shè)備和驅(qū)動(dòng),而match函數(shù)就負(fù)責(zé)匹配檢測; 各類驅(qū)動(dòng)框架也都是基于圖中的機(jī)制來實(shí)現(xiàn),在這之上進(jìn)行封裝,比如I2C總線框架等; 設(shè)備驅(qū)動(dòng)模型中,包含了很多kset/kobject等內(nèi)容,建議去看看之前的文章《linux設(shè)備模型之kset/kobj/ktype分析》 好了,點(diǎn)到為止,感覺要跑題了,強(qiáng)行拉回來。
3.2 初始化既然說到了設(shè)備驅(qū)動(dòng)模型,那么首先我們要做的事情,就是先在內(nèi)核里邊創(chuàng)建一個(gè)PCI總線,用于掛接PCI設(shè)備和PCI驅(qū)動(dòng),我們的實(shí)現(xiàn)來到了pci_driver_init() 函數(shù): 內(nèi)核在PCI框架初始化時(shí)會調(diào)用pci_driver_init()來創(chuàng)建一個(gè)PCI總線結(jié)構(gòu)(全局變量pci_bus_type),這里描述的PCI總線結(jié)構(gòu),是指驅(qū)動(dòng)匹配模型中的概念,PCI的設(shè)備和驅(qū)動(dòng)都會掛在該P(yáng)CI總線上; 從pci_bus_type的函數(shù)操作接口也能看出來,pci_bus_match用來檢查設(shè)備與驅(qū)動(dòng)是否匹配,一旦匹配了就會調(diào)用pci_device_probe函數(shù),下邊針對這兩個(gè)函數(shù)稍加介紹;
3.2.1 pci_bus_match3.2.2 pci_device_probe3.3 枚舉我們還是順著設(shè)備驅(qū)動(dòng)匹配的思路繼續(xù)開展; 3.2節(jié)描述的是總線的創(chuàng)建,那么本節(jié)中的枚舉,顯然就是設(shè)備的創(chuàng)建了; 所謂設(shè)備的創(chuàng)建,就是在Linux內(nèi)核中維護(hù)一些數(shù)據(jù)結(jié)構(gòu)來對硬件設(shè)備進(jìn)行描述,而硬件的描述又跟上文中的數(shù)據(jù)結(jié)構(gòu)能對應(yīng)上;
枚舉的入口函數(shù):pci_host_probe 設(shè)備的掃描從pci_scan_root_bus_bridge開始,首先需要先向系統(tǒng)注冊一個(gè)host bridge ,在注冊的過程中需要?jiǎng)?chuàng)建一個(gè)root bus,也就是bus 0,在pci_register_host_bridge函數(shù)中,主要是一系列的初始化和注冊工作,此外還為總線分配資源,包括地址空間等; pci_scan_child_bus開始,從bus 0向下掃描并添加設(shè)備,這個(gè)過程由pci_scan_child_bus_extend來完成;
從pci_scan_child_bus_extend的流程可以看出,主要有兩大塊: PCI設(shè)備掃描,從循環(huán)也能看出來,每條總線支持32個(gè)設(shè)備,每個(gè)設(shè)備支持8個(gè)功能,掃描完設(shè)備后將設(shè)備注冊進(jìn)系統(tǒng),pci_scan_device的過程中會去讀取PCI設(shè)備的配置空間,獲取到BAR的相關(guān)信息,細(xì)節(jié)不表了; PCI橋設(shè)備掃描,PCI橋是用于連接上一級PCI總線和下一級PCI總線的,當(dāng)發(fā)現(xiàn)有下一級總線時(shí),創(chuàng)建子結(jié)構(gòu),并再次調(diào)用pci_scan_child_bus_extend的函數(shù)來掃描下一級的總線,從這個(gè)過程看,就是一個(gè)遞歸過程。
從設(shè)備的掃描過程看,這是一個(gè)典型的DFS(Depth First Search)過程,熟悉數(shù)據(jù)結(jié)構(gòu)與算法的同學(xué)應(yīng)該清楚,這就類似典型的走迷宮的過程;
如果你對上述的流程還不清楚,再來一張圖: 圖中的數(shù)字代表的就是掃描的過程,當(dāng)遍歷到PCI橋設(shè)備的時(shí)候,會一直窮究到底,然后再返回來; 當(dāng)枚舉過程結(jié)束后,系統(tǒng)中就已經(jīng)維護(hù)了PCI設(shè)備的各類信息了,在設(shè)備驅(qū)動(dòng)匹配模型中,總線和設(shè)備都已經(jīng)具備了,剩下的就是寫個(gè)驅(qū)動(dòng)了;
暫且寫這么多,細(xì)節(jié)方面不再贅述了,把握大體的框架即可,無法扼住PCI的咽喉,那就扼住它的骨架吧。
1. 概述
先回顧一下PCIe的架構(gòu)圖: 本文將講PCIe Host的驅(qū)動(dòng),對應(yīng)為Root Complex部分,相當(dāng)于PCI的Host Bridge 部分; 本文會選擇Xilinx的nwl-pcie來進(jìn)行分析; 驅(qū)動(dòng)的編寫整體偏簡單,往現(xiàn)有的框架上套就可以了,因此不會花太多筆墨,點(diǎn)到為止;
2. 流程分析但凡涉及到驅(qū)動(dòng)的分析,都離不開驅(qū)動(dòng)模型的介紹,驅(qū)動(dòng)模型的實(shí)現(xiàn)讓具體的驅(qū)動(dòng)開發(fā)變得更容易; 所以,還是回顧一下上篇文章提到的驅(qū)動(dòng)模型:Linux內(nèi)核建立了一個(gè)統(tǒng)一的設(shè)備模型,分別采用總線、設(shè)備、驅(qū)動(dòng)三者進(jìn)行抽象,其中設(shè)備與驅(qū)動(dòng)都掛在總線上,當(dāng)有新的設(shè)備注冊或者新的驅(qū)動(dòng)注冊時(shí),總線會去進(jìn)行匹配操作(match函數(shù)),當(dāng)發(fā)現(xiàn)驅(qū)動(dòng)與設(shè)備能進(jìn)行匹配時(shí),就會執(zhí)行probe函數(shù)的操作;
那么問題來了,platform_device是在什么時(shí)候創(chuàng)建的呢?那就不得不提到Device Tree設(shè)備樹了。 2.1 Device Tree設(shè)備樹用于描述硬件的信息,包含節(jié)點(diǎn)各類屬性,在dts文件中定義,最終會被編譯成dtb文件加載到內(nèi)存中; 內(nèi)核會在啟動(dòng)過程中去解析dtb文件,解析成device_node描述的Device Tree; 根據(jù)device_node節(jié)點(diǎn),創(chuàng)建platform_device結(jié)構(gòu),并最終注冊進(jìn)系統(tǒng),這個(gè)也就是PCIe Host設(shè)備的創(chuàng)建過程;
我們看看PCIe Host的設(shè)備樹內(nèi)容: pcie: pcie@fd0e0000 {
compatible = "xlnx,nwl-pcie-2.11";
status = "disabled";
#address-cells = <3>;
#size-cells = <2>;
#interrupt-cells = <1>;
msi-controller;
device_type = "pci";
interrupt-parent = <&gic>;
interrupts = <0 118 4>,
<0 117 4>,
<0 116 4>,
<0 115 4>, /* MSI_1 [63...32] */
<0 114 4>; /* MSI_0 [31...0] */
interrupt-names = "misc", "dummy", "intx", "msi1", "msi0";
msi-parent = <&pcie>;
reg = <0x0 0xfd0e0000 0x0 0x1000>,
<0x0 0xfd480000 0x0 0x1000>,
<0x80 0x00000000 0x0 0x1000000>;
reg-names = "breg", "pcireg", "cfg";
ranges = <0x02000000 0x00000000 0xe0000000 0x00000000 0xe0000000 0x00000000 0x10000000 /* non-prefetchable memory */
0x43000000 0x00000006 0x00000000 0x00000006 0x00000000 0x00000002 0x00000000>;/* prefetchable memory */
bus-range = <0x00 0xff>;
interrupt-map-mask = <0x0 0x0 0x0 0x7>;
interrupt-map = <0x0 0x0 0x0 0x1 &pcie_intc 0x1>,
<0x0 0x0 0x0 0x2 &pcie_intc 0x2>,
<0x0 0x0 0x0 0x3 &pcie_intc 0x3>,
<0x0 0x0 0x0 0x4 &pcie_intc 0x4>;
pcie_intc: legacy-interrupt-controller {
interrupt-controller;
#address-cells = <0>;
#interrupt-cells = <1>;
};
}; 關(guān)鍵字段描述如下: compatible:用于匹配PCIe Host驅(qū)動(dòng);
msi-controller:表示是一個(gè)MSI(Message Signaled Interrupt)控制器節(jié)點(diǎn),這里需要注意的是,有的SoC中斷控制器使用的是GICv2版本,而GICv2并不支持MSI,所以會導(dǎo)致該功能的缺失;
device-type:必須是"pci";
interrupts:包含NWL PCIe控制器的中斷號;
interrupts-name:msi1, msi0用于MSI中斷,intx用于舊式中斷,與interrupts中的中斷號對應(yīng);
reg:包含用于訪問PCIe控制器操作的寄存器物理地址和大?。?/span>
reg-name:分別表示Bridge registers,PCIe Controller registers, Configuration space region,與reg中的值對應(yīng);
ranges:PCIe地址空間轉(zhuǎn)換到CPU的地址空間中的范圍;
bus-range:PCIe總線的起始范圍;
interrupt-map-mask和interrupt-map:標(biāo)準(zhǔn)PCI屬性,用于定義PCI接口到中斷號的映射;
legacy-interrupt-controller:舊式的中斷控制器;
2.2 probe流程看一下nwl_pcie_probe函數(shù): 針對PCI控制器的驅(qū)動(dòng),核心的流程是需要分配并初始化一個(gè)pci_host_bridge 結(jié)構(gòu),最終通過這個(gè)bridge去枚舉PCI總線上的所有設(shè)備; devm_pci_alloc_host_bridge:分配并初始化一個(gè)基礎(chǔ)的pci_hsot_bridge結(jié)構(gòu);
nwl_pcie_parse_dt:獲取DTS中的寄存器信息及中斷信息,并通過irq_set_chained_handler_and_data設(shè)置intx中斷號對應(yīng)的中斷處理函數(shù),該處理函數(shù)用于中斷的級聯(lián);
nwl_pcie_bridge_init:硬件的Controller一堆設(shè)置,這部分需要去查閱Spec,了解硬件工作的細(xì)節(jié)。此外,通過devm_request_irq注冊misc中斷號對應(yīng)的中斷處理函數(shù),該處理函數(shù)用于控制器自身狀態(tài)的處理;
pci_parse_request_of_pci_ranges:用于解析PCI總線的總線范圍和總線上的地址范圍,也就是CPU能看到的地址區(qū)域;
nwl_pcie_init_irq_domain和mwl_pcie_enable_msi與中斷級聯(lián)相關(guān),下個(gè)小節(jié)介紹;
pci_scan_root_bus_bridge:對總線上的設(shè)備進(jìn)行掃描枚舉,這個(gè)流程在Linux PCI驅(qū)動(dòng)框架分析(二)中分析過。 brdige結(jié)構(gòu)體中的pci_ops字段,用于指向PCI的讀寫操作函數(shù)集,當(dāng)具體掃描到設(shè)備要讀寫配置空間時(shí),調(diào)用的就是這個(gè)函數(shù),由具體的Controller驅(qū)動(dòng)實(shí)現(xiàn);
2.3 中斷處理PCIe控制器,通過PCIe總線連接各種設(shè)備,因此它本身充當(dāng)一個(gè)中斷控制器,級聯(lián)到上一層的中斷控制器(比如GIC),如下圖: PCIe總線支持兩種中斷的處理方式: Legacy Interrupt:總線提供INTA#, INTB#, INTC#, INTD#四根中斷信號,PCI設(shè)備借助這四根信號使用電平觸發(fā)方式提交中斷請求; MSI(Message Signaled Interrupt) Interrupt:基于消息機(jī)制的中斷,也就是往一個(gè)指定地址寫入特定消息,從而觸發(fā)一個(gè)中斷;
針對兩種處理方式,NWL PCIe驅(qū)動(dòng)中,實(shí)現(xiàn)了兩個(gè)irq_chip,也就是兩種方式的中斷控制器: 再來看一下nwl_pcie_enable_msi函數(shù): 所以,稍微匯總一下,作為兩種不同的中斷處理方式,套路都是一樣的,都是創(chuàng)建irq_chip 中斷控制器,為該中斷控制器添加irq_domain,具體設(shè)備的中斷響應(yīng)流程如下: 設(shè)備連接在PCI總線上,觸發(fā)中斷時(shí),通過PCIe控制器充當(dāng)?shù)闹袛嗫刂破髀酚傻缴弦患壙刂破?,最終路由到CPU; CPU在處理PCIe控制器的中斷時(shí),調(diào)用它的中斷處理函數(shù),也就是上文中提到過的nwl_pcie_leg_handler,nwl_pcie_msi_handler_high,和nwl_pcie_leg_handler_low; 在級聯(lián)的中斷處理函數(shù)中,調(diào)用chained_irq_enter進(jìn)入中斷級聯(lián)處理; 調(diào)用irq_find_mapping找到具體的PCIe設(shè)備的中斷號; 調(diào)用generic_handle_irq觸發(fā)具體的PCIe設(shè)備的中斷處理函數(shù)執(zhí)行; 調(diào)用chained_irq_exit退出中斷級聯(lián)的處理;
2.4 總結(jié)PCIe控制器驅(qū)動(dòng),各家的IP實(shí)現(xiàn)不一樣,驅(qū)動(dòng)的差異可能會很大,單獨(dú)分析一個(gè)驅(qū)動(dòng)畢竟只是個(gè)例,應(yīng)該去掌握背后的通用框架; 各類驅(qū)動(dòng),大體都是硬件初始化配置,資源申請注冊,核心是處理與硬件的交互(一般就是中斷的處理),如果需要用戶來交互的,則還需要注冊設(shè)備文件,實(shí)現(xiàn)一堆file_operation操作函數(shù)集; 好吧,我個(gè)人不太喜歡分析某個(gè)驅(qū)動(dòng),草草收場了
參考Documentation/devicetree/bindings/pci/xlinx-nwl-pcie.txt
轉(zhuǎn)自:Linux PCI驅(qū)動(dòng)框架分析
|