GitHub: PCIe

Email: BuddyZhang buddy.zhang@aliyun.com

PCI 总线系统体系结构

内容来自网上：https://blog.csdn.net/wukery/article/details/52869219

PCI 是外围设备互连（Peripheral Component Interconnect）的简称，作为一种通用的总线接口标准，它在目前的计算机系统中得到了非常广泛的应用。PCI 提供了一组完整的总线接口规范，其目的是描述如何将计算机系统中的外围设备以一种结构化和可控化的方式连接在一起，同时它还刻画了外围设备在连接时的电气特性和行为规约，并且详细定义了计算机系统中的各个不同部件之间应该如何正确地进行交互。

无论是在基于 Intel 芯片的 PC 机中，或是在基于 Alpha 芯片的工作站上，PCI 毫无疑问都是目前使用最广泛的一种总线接口标准。同旧式的 ISA 总线不同，PCI 将计算机系统中的总线子系统与存储子系统完全地分开，CPU 通过一块称为 PCI 桥（PCI-Bridge）的设备来完成同总线子系统的交互，如图

VNETCARD

由于使用了更高的时钟频率，因此 PCI 总线能够获得比 ISA 总线更好的整体性能。PCI 总线的时钟频率一般在 25MHz 到 33MHz 范围内，有些甚至能够达到 66MHz 或者 133MHz，而在 64 位系统中则最高能达到 266MHz。尽管目前 PCI 设备大多采用 32 位数据总线，但 PCI 规范中已经给出了 64 位的扩展实现，从而使 PCI 总线能够更好地实现平台无关性，现在 PCI 总线已经能够用于 IA-32、Alpha、PowerPC、SPARC64 和 IA-64 等体系结构中。

PCI总线具有三个非常显著的优点，使得它能够完成最终取代 ISA 总线这一历史使命：

在计算机和外设间传输数据时具有更好的性能

能够尽量独立于具体的平台

可以很方便地实现即插即用。

下图是一个典型的基于 PCI 总线的计算机系统逻辑示意图，系统的各个部分通过 PCI 总线和 PCI-PCI 桥连接在一起。从图中不难看出，CPU 和 RAM 需要通过 PCI 桥连接到 PCI 总线 0（即主 PCI 总线），而具有 PCI 接口的显卡则可以直接连接到主 PCI 总线上。PCI-PCI 桥是一个特殊的 PCI 设备，它负责将 PCI 总线 0 和 PCI 总线 1（即从 PCI 主线）连接在一起，通常 PCI 总线 1 称为 PCI-PCI 桥的下游（downstream），而 PCI 总线 0 则称为 PCI-PCI 桥的上游（upstream）。图中连接到从 PCI 总线上的是 SCSI 卡和以太网卡。为了兼容旧的 ISA 总线标准，PCI 总线还可以通过 PCI-ISA 桥来连接 ISA 总线，从而能够支持以前的 ISA 设备。图中 ISA 总线上连接着一个多功能 I/O 控制器，用于控制键盘、鼠标和软驱.

VNETCARD

在此只对 PCI 总线系统体系结构作了概括性介绍，如果读者想进一步了解，David A Rusling 在The Linux Kernel （http://tldp.org/LDP/tlk/dd/pci.html）中对 Linux 的 PCI 子系统有比较详细的介绍。

PCIe 设备驱动实践

目标主机： Intel Ubuntu 14.04 64-Bit

Linux 版本： 3.19.0-25-generic

PCIe 设备驱动模型 github：

https://github.com/BiscuitOS/HardStack/tree/master/bus/PCIe/drv

获取源码方法，按如下命令

cd /tmp/
mkdir PCIe
cd PCIe
git init
git remote add -f  origin https://github.com/BiscuitOS/HardStack.git
git config core.sparsecheckout true
echo "PCIe" >> .git/info/sparse-checkout
git pull origin master
cd bus/PCIe/drv/

编译并运行驱动。按如下命令

make clean
make
insmod pcie.ko
dmesg

运行如下图

VNETCARD

pcie_demo.c

/*
* Copyright (C) 2018 <buddy.zhang@aliyun.com>
*
* PCIe driver demo
*
* This program is free software; you can redistribute it and/or modify
* it under the terms of the GNU General Public License as published by
* the Free Software Foundation; version 2 of the License.
*
* This program is distributed in the hope that it will be useful,
* but WITHOUT ANY WARRANTY; without even the implied warranty of
* MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
* GNU General Public License for more details.
*
* You should have received a copy of the GNU General Public License
* along with this program; if not, write to the Free Software
* Foundation, Inc., 59 Temple Place, Suite 330, Boston, MA  02111-1307, USA.
*/
#include <linux/kernel.h>
#include <linux/module.h>
#include <linux/init.h>
#include <linux/fs.h>
#include <linux/miscdevice.h>

#include <linux/pci.h>

#define DEV_NAME                 "pcie_demo"
#define PCIE_DEMO_VENDOR_ID      0x10ee
#define PCIE_DEMO_DEVICE_ID      0x9034
#define BAR_NUM                  6

struct bar_node {
    unsigned long phys;
    unsigned long virt;
    unsigned long length;
    unsigned long used;
};

/* Barn(n=0,1 or 0,1,2,3,4,5) physical address, length, virtual address */
struct bar_node bars[BAR_NUM] = {
    /* Bar0 */
    {
        .phys = 0,
        .virt = 0,
        .length = 0,
        .used = 1,
    },
    /* Bar1 */
    {
        .phys = 0,
        .virt = 0,
        .length = 0,
        .used = 0,
    },
    /* Bar2 */
    {
        .phys = 0,
        .virt = 0,
        .length = 0,
        .used = 1,
    },
    /* Bar3 */
    {
        .phys = 0,
        .virt = 0,
        .length = 0,
        .used = 0,
    },
    /* Bar4 */
    {
        .phys = 0,
        .virt = 0,
        .length = 0,
        .used = 0,
    },
    /* Bar5 */
    {
        .phys = 0,
        .virt = 0,
        .length = 0,
        .used = 0,
    },
};

/*
* open operation
*/
static int pcie_demo_open(struct inode *inode,struct file *filp)
{
    printk(KERN_INFO "Open device\n");
    return 0;
}
/*
* release opertion
*/
static int pcie_demo_release(struct inode *inode,struct file *filp)
{
    return 0;
}
/*
* read operation
*/
static ssize_t pcie_demo_read(struct file *filp,char __user *buffer,size_t count,
                loff_t *offset)
{
    return 0;
}
/*
* write operation
*/
static ssize_t pcie_demo_write(struct file *filp,const char __user *buf,
                size_t count,loff_t *offset)
{
    return 0;
}

static int pcie_demo_probe(struct pci_dev *pdev, const struct pci_device_id *id)
{
    int result;
    int i;

    printk("PCIe probe starting....Vendor %#x DeviceID %#x\n",
                                              id->vendor, id->device);

    /* Enable PCIe */
    if (pci_enable_device(pdev)) {
        result = -EIO;
        goto end;
    }

    pci_set_master(pdev);

    if (unlikely(pci_request_regions(pdev, DEV_NAME))) {
        printk("Failed: pci_request_regions\n");
        result = -EIO;
        goto enable_device_err;
    }

    /* Obtain bar0 to bar5 information */
    for (i = 0; i < BAR_NUM; i++) {
        if (!bars[i].used)
            continue;
        /* Obtain bar physical address */
        bars[i].phys = pci_resource_start(pdev, i);
            if (bars[i].phys < 0) {
                printk("Failed: Bar%d pci_resource_start\n", i);
                result = -EIO;
                goto request_regions_err;
        }

        /* Obtain the length for Bar */
        bars[i].length = pci_resource_len(pdev, 0);
        if (bars[i].length != 0)
            bars[i].virt = (unsigned long)ioremap(bars[i].phys,
                                         bars[i].length);
        

        printk("Bar%d=> phys: %#lx virt: %#lx length: %#lx\n",
                     i, bars[i].phys, bars[i].virt, bars[i].length);
    }

    return 0;

request_regions_err:

    pci_release_regions(pdev);

enable_device_err:
    pci_disable_device(pdev);

end:

    return result;
}

static void pcie_demo_remove(struct pci_dev *pdev)
{
    int i;

    for (i = 0; i < BAR_NUM; i++)
        if (bars[i].virt > 0)
            iounmap((void *)bars[i].virt);

    pci_release_regions(pdev);

    pci_disable_device(pdev);
}

/*
* file_operations
*/
static struct file_operations pcie_demo_fops = {
    .owner     = THIS_MODULE,
    .open      = pcie_demo_open,
    .release   = pcie_demo_release,
    .write     = pcie_demo_write,
    .read      = pcie_demo_read,
};
/*
* misc struct
*/

static struct miscdevice pcie_demo_misc = {
    .minor    = MISC_DYNAMIC_MINOR,
    .name     = DEV_NAME,
    .fops     = &pcie_demo_fops,
};

static struct pci_device_id pcie_demo_ids[] = {
    { PCIE_DEMO_VENDOR_ID, PCIE_DEMO_DEVICE_ID, PCI_ANY_ID, PCI_ANY_ID, 0, 0, 0},
    { 0, }
};
MODULE_DEVICE_TABLE(pci, pcie_demo_ids);

static struct pci_driver pci_drivers = {
    .name = DEV_NAME,
    .id_table = pcie_demo_ids,
    .probe = pcie_demo_probe,
    .remove = pcie_demo_remove,
};


/*
* Init module
*/
static __init int pcie_demo_init(void)
{
    int ret;

    /* Register PCIe driver */
    ret = pci_register_driver(&pci_drivers);

    /* Register Misc layer interface. */
    misc_register(&pcie_demo_misc);

    return 0;
}
/*
* Exit module
*/
static __exit void pcie_demo_exit(void)
{
    /* Unregister PCIe driver */
    pci_unregister_driver(&pci_drivers);

    /* Unregister misc driver */
    misc_deregister(&pcie_demo_misc);
}
/*
* module information
*/
module_init(pcie_demo_init);
module_exit(pcie_demo_exit);

MODULE_LICENSE("GPL");

Makefile

obj-m += pcie.o

pcie-objs := pcie_demo.o

KERNELDIR ?= /lib/modules/$(shell uname -r)/build

PWD       := $(shell pwd)

ROOT := $(dir $(M))
DEMOINCLUDE := -I$(ROOT)../include -I$(ROOT)/include

GCCVERSION = $(shell gcc -dumpversion | sed -e 's/\.\([0-9][0-9]\)/\1/g' -e 's/\.\([0-9]\)/0\1/g' -e 's/^[0-9]\{3,4\}$$/&00/')

GCC49 := $(shell expr $(GCCVERSION) \>= 40900)

all:
        $(MAKE) -C $(KERNELDIR) M=$(PWD) modules

install: all
        $(MAKE) -C $(KERNELDIR) M=$(PWD) modules_install
        depmod -a

clean:
        rm -rf *.o *.o.d *~ core .depend .*.cmd *.ko *.ko.unsigned *.mod.c .tmp_versions *.symvers \
                         *.save *.bak Modules.* modules.order Module.markers *.bin

CFLAGS_pcie_demo.o := -Wall $(DEMOINCLUDE)

ifeq ($(GCC49),1)
        CFLAGS_pcie_demo.o += -Wno-error=date-time
endif

CFLAGS_pcie_demo.o := $(DEMOINCLUDE)

PCI驱动程序实现

关键数据结构

PCI 设备上有三种地址空间：PCI 的 I/O 空间、PCI 的存储空间和 PCI 的配置空间。 CPU 可以访问 PCI 设备上的所有地址空间，其中 I/O空间和存储空间提供给设备驱动程序使用，而配置空间则由 Linux 内核中的 PCI 初始化代码使用。内核在启动时负责对所有 PCI 设备进行初始化，配置好所有的 PCI 设备，包括中断号以及 I/O 基址，并在文件 /proc/pci 中列出所有找到的 PCI 设备，以及这些设备的参数和属性。

Linux 驱动程序通常使用结构（struct）来表示一种设备，而结构体中的变量则代表某一具体设备，该变量存放了与该设备相关的所有信息。好的驱动程序都应该能驱动多个同种设备，每个设备之间用次设备号进行区分，如果采用结构数据来代表所有能由该驱动程序驱动的设备，那么就可以简单地使用数组下标来表示次设备号。在 PCI 驱动程序中，下面几个关键数据结构起着非常核心的作用

pci_driver

这个数据结构在文件 include/linux/pci.h 里，这是 Linux 内核版本 2.4 之后为新型的 PCI 设备驱动程序所添加的，其中最主要的是用于识别设备的 id_table 结构，以及用于检测设备的函数 probe( ) 和卸载设备的函数 remove( )：

    struct pci_driver {
        struct list_head node;
        char *name;
        const struct pci_device_id *id_table;
        int  (*probe)  (struct pci_dev *dev, const struct pci_device_id *id);
        void (*remove) (struct pci_dev *dev);
        int  (*save_state) (struct pci_dev *dev, u32 state);
        int  (*suspend)(struct pci_dev *dev, u32 state);
        int  (*resume) (struct pci_dev *dev);
        int  (*enable_wake) (struct pci_dev *dev, u32 state, int enable);
    };

pci_dev

这个数据结构也在文件 include/linux/pci.h 里，它详细描述了一个 PCI 设备几乎所有的硬件信息，包括厂商 ID、设备 ID、各种资源等：

    struct pci_dev {
        struct list_head global_list;
        struct list_head bus_list;
        struct pci_bus  *bus;
        struct pci_bus  *subordinate;
        void        *sysdata;
        struct proc_dir_entry *procent;
        unsigned int    devfn;
        unsigned short  vendor;
        unsigned short  device;
        unsigned short  subsystem_vendor;
        unsigned short  subsystem_device;
        unsigned int    class;
        u8      hdr_type;
        u8      rom_base_reg;
        struct pci_driver *driver;
        void        *driver_data;
        u64     dma_mask;
        u32             current_state;
        unsigned short vendor_compatible[DEVICE_COUNT_COMPATIBLE];
        unsigned short device_compatible[DEVICE_COUNT_COMPATIBLE];
        unsigned int    irq;
        struct resource resource[DEVICE_COUNT_RESOURCE];
        struct resource dma_resource[DEVICE_COUNT_DMA];
        struct resource irq_resource[DEVICE_COUNT_IRQ];
        char        name[80];
        char        slot_name[8];
        int     active;
        int     ro;
        unsigned short  regs;
        int (*prepare)(struct pci_dev *dev);
        int (*activate)(struct pci_dev *dev);
        int (*deactivate)(struct pci_dev *dev);
    };

基本框架

在用模块方式实现 PCI 设备驱动程序时，通常至少要实现以下几个部分：初始化设备模块、设备打开模块、数据读写和控制模块、中断处理模块、设备释放模块、设备卸载模块。下面给出一个典型的PCI设备驱动程序的基本框架，从中不难体会到这几个关键模块是如何组织起来的。

/* 指明该驱动程序适用于哪一些PCI设备 */
static struct pci_device_id demo_pci_tbl [] __initdata = {
    {PCI_VENDOR_ID_DEMO, PCI_DEVICE_ID_DEMO,
     PCI_ANY_ID, PCI_ANY_ID, 0, 0, DEMO},
    {0,}
};
/* 对特定PCI设备进行描述的数据结构 */
struct demo_card {
    unsigned int magic;
    /* 使用链表保存所有同类的PCI设备 */
    struct demo_card *next;
     
    /* ... */
}
/* 中断处理模块 */
static void demo_interrupt(int irq, void *dev_id, struct pt_regs *regs)
{
    /* ... */
}
/* 设备文件操作接口 */
static struct file_operations demo_fops = {
    owner:      THIS_MODULE,   /* demo_fops所属的设备模块 */
    read:       demo_read,    /* 读设备操作*/
    write:      demo_write,    /* 写设备操作*/
    ioctl:      demo_ioctl,    /* 控制设备操作*/
    mmap:       demo_mmap,    /* 内存重映射操作*/
    open:       demo_open,    /* 打开设备操作*/
    release:    demo_release    /* 释放设备操作*/
    /* ... */
};
/* 设备模块信息 */
static struct pci_driver demo_pci_driver = {
    name:       demo_MODULE_NAME,    /* 设备模块名称 */
    id_table:   demo_pci_tbl,    /* 能够驱动的设备列表 */
    probe:      demo_probe,    /* 查找并初始化设备 */
    remove:     demo_remove    /* 卸载设备模块 */
};
static int __init demo_init_module (void)
{
}
static void __exit demo_cleanup_module (void)
{
    pci_unregister_driver(&demo_pci_driver);
}
module_init(demo_init_module);
module_exit(demo_cleanup_module);

上面这段代码给出了一个典型的 PCI 设备驱动程序的框架，是一种相对固定的模式。需要注意的是，同加载和卸载模块相关的函数或数据结构都要在前面加上 __init、__exit 等标志符，以使同普通函数区分开来。构造出这样一个框架之后，接下去的工作就是如何完成框架内的各个功能模块了。

初始化设备模块

在Linux系统下，想要完成对一个PCI设备的初始化，需要完成以下工作：

检查PCI总线是否被Linux内核支持；

检查设备是否插在总线插槽上，如果在的话则保存它所占用的插槽的位置等信息。

读出配置头中的信息提供给驱动程序使用。

当 Linux 内核启动并完成对所有 PCI 设备进行扫描、登录和分配资源等初始化操作的同时，会建立起系统中所有 PCI 设备的拓扑结构，此后当 PCI 驱动程序需要对设备进行初始化时，一般都会调用如下的代码：

static int __init demo_init_module (void)
{
    /* 检查系统是否支持PCI总线 */
    if (!pci_present())
        return -ENODEV;
    /* 注册硬件驱动程序 */
    if (!pci_register_driver(&demo_pci_driver)) {
        pci_unregister_driver(&demo_pci_driver);
                return -ENODEV;
    }
    /* ... */
    
    return 0;
}

驱动程序首先调用函数 pci_present( ) 检查 PCI 总线是否已经被 Linux 内核支持，如果系统支持 PCI 总线结构，这个函数的返回值为 0，如果驱动程序在调用这个函数时得到了一个非 0 的返回值，那么驱动程序就必须得中止自己的任务了。在 2.4 以前的内核中，需要手工调用 pci_find_device( ) 函数来查找 PCI 设备，但在 2.4 以后更好的办法是调用 pci_register_driver( ) 函数来注册 PCI 设备的驱动程序，此时需要提供一个 pci_driver 结构，在该结构中给出的 probe 探测例程将负责完成对硬件的检测工作。

static int __init demo_probe(struct pci_dev *pci_dev, const struct pci_device_id *pci_id)
{
    struct demo_card *card;
    /* 启动PCI设备 */
    if (pci_enable_device(pci_dev))
        return -EIO;
    /* 设备DMA标识 */
    if (pci_set_dma_mask(pci_dev, DEMO_DMA_MASK)) {
        return -ENODEV;
    }
    /* 在内核空间中动态申请内存 */
    if ((card = kmalloc(sizeof(struct demo_card), GFP_KERNEL)) == NULL) {
        printk(KERN_ERR "pci_demo: out of memory\n");
        return -ENOMEM;
    }
    memset(card, 0, sizeof(*card));
    /* 读取PCI配置信息 */
    card->iobase = pci_resource_start (pci_dev, 1);
    card->pci_dev = pci_dev;
    card->pci_id = pci_id->device;
    card->irq = pci_dev->irq;
    card->next = devs;
    card->magic = DEMO_CARD_MAGIC;
    /* 设置成总线主DMA模式 */    
    pci_set_master(pci_dev);
    /* 申请I/O资源 */
    request_region(card->iobase, 64, card_names[pci_id->driver_data]);
    return 0;
}

打开设备模块

在这个模块里主要实现申请中断、检查读写模式以及申请对设备的控制权等。在申请控制权的时候，非阻塞方式遇忙返回，否则进程主动接受调度，进入睡眠状态，等待其它进程释放对设备的控制权。

static int demo_open(struct inode *inode, struct file *file)
{
    /* 申请中断，注册中断处理程序 */
    request_irq(card->irq, &demo_interrupt, SA_SHIRQ,
        card_names[pci_id->driver_data], card)) {
    /* 检查读写模式 */
    if(file->f_mode & FMODE_READ) {
        /* ... */
    }
    if(file->f_mode & FMODE_WRITE) {
       /* ... */
    }
     
    /* 申请对设备的控制权 */
    down(&card->open_sem);
    while(card->open_mode & file->f_mode) {
        if (file->f_flags & O_NONBLOCK) {
            /* NONBLOCK模式，返回-EBUSY */
            up(&card->open_sem);
            return -EBUSY;
        } else {
            /* 等待调度，获得控制权 */
            card->open_mode |= f_mode & (FMODE_READ | FMODE_WRITE);
            up(&card->open_sem);
            /* 设备打开计数增1 */
            MOD_INC_USE_COUNT;
            /* ... */
        }
    }
}

数据读写和控制信息模块

PCI 设备驱动程序可以通过 demo_fops 结构中的函数 demo_ioctl( )，向应用程序提供对硬件进行控制的接口。例如，通过它可以从 I/O寄存器里读取一个数据，并传送到用户空间里：

static int demo_ioctl(struct inode *inode, struct file *file,
      unsigned int cmd, unsigned long arg)
{
    switch(cmd) {
        case DEMO_RDATA:
            /* 从I/O端口读取4字节的数据 */
            val = inl(card->iobae + 0x10);
             
            return 0;
    }
}

事实上，在 demo_fops 里还可以实现诸如 demo_read( )、demo_mmap( ) 等操作，Linux 内核源码中的 driver 目录里提供了许多设备驱动程序的源代码，找那里可以找到类似的例子。在对资源的访问方式上，除了有 I/O 指令以外，还有对外设 I/O 内存的访问。对这些内存的操作一方面可以通过把 I/O 内存重新映射后作为普通内存进行操作，另一方面也可以通过总线主 DMA（Bus Master DMA）的方式让设备把数据通过 DMA 传送到系统内存中。

中断处理模块

PC 的中断资源比较有限，只有 0~15 的中断号，因此大部分外部设备都是以共享的形式申请中断号的。当中断发生的时候，中断处理程序首先负责对中断进行识别，然后再做进一步的处理。

static void demo_interrupt(int irq, void *dev_id, struct pt_regs *regs)
{
    struct demo_card *card = (struct demo_card *)dev_id;
    u32 status;
    spin_lock(&card->lock);
    /* 识别中断 */
    status = inl(card->iobase + GLOB_STA);
    if(!(status & INT_MASK))
    {
        spin_unlock(&card->lock);
        return;  /* not for us */
    }
    /* 告诉设备已经收到中断 */
    outl(status & INT_MASK, card->iobase + GLOB_STA);
    spin_unlock(&card->lock);
     
    /* 其它进一步的处理，如更新DMA缓冲区指针等 */
}

释放设备模块

释放设备模块主要负责释放对设备的控制权，释放占用的内存和中断等，所做的事情正好与打开设备模块相反：

    
static int demo_release(struct inode *inode, struct file *file)
{
    /* ... */
     
    /* 释放对设备的控制权 */
    card->open_mode &= (FMODE_READ | FMODE_WRITE);
     
    /* 唤醒其它等待获取控制权的进程 */
    wake_up(&card->open_wait);
    up(&card->open_sem);
     
    /* 释放中断 */
    free_irq(card->irq, card);
     
    /* 设备打开计数增1 */
    MOD_DEC_USE_COUNT;
     
    /* ... */  
}

卸载设备模块

卸载设备模块与初始化设备模块是相对应的，实现起来相对比较简单，主要是调用函数 pci_unregister_driver( ) 从 Linux 内核中注销设备驱动程序：

static void __exit demo_cleanup_module (void)
{
    pci_unregister_driver(&demo_pci_driver);
}

附录

Linux下PCI设备驱动程序开发

David A Rusling在 The Linux Kernel中对Linux的PCI子系统进行了比较详细的介绍

BiscuitOS Home

BiscuitOS Driver

BiscuitOS Kernel Build

Linux Kernel

Bootlin: Elixir Cross Referencer

赞赏一下吧 🙂

MMU