空里流霜

xv6 学习笔记: Lab network driver

Lab network driver

学习

要点

PLIC 是 Platform-Level Interrupt Controller, 平台级中断控制器。当设备发出中断之后,PLIC 负责对这些中断源进行优先级仲裁、使能或屏蔽管理,并最终将选中的高优先级中断派发给某个 CPU。PLIC 允许一个设备同时最多发出一个中断,发出中断后,PLIC 会禁用该设备的中断,直到内核主动开启。

对于 QEMU 来说,在运行参数中加上 -nographic,就会把 UART0 接入标准输入输出。所以在 xv6 内核中读写 UART0 就是读写运行了 xv6 的那个终端窗口的标准输入输出。

__attribute__((packed))指定结构体成员按照1字节对齐,这对定义网络协议头部结构体非常有用。

RISC-V 操作硬件设备的方式称作 MMIO (Memory-Mapped I/O),意味着读写某个物理地址即可访问和控制硬件设备。不只 RISC-V,现在的绝大多数架构和硬件都使用 MMIO 方式控制硬件。MMIO 的大致工作方式为:当 CPU 发出 load/store 指令并翻译成物理地址之后,地址会交给总线上的地址译码器,地址译码器决定这个地址映射到哪个硬件(包括 RAM)的哪个部分。

kernel/memlayout.h 里有一些固定的物理地址,比如 UART0 位于 0x10000000 处。这是 QEMU 模拟的固定地址,可以在 qemu/hw/riscv/virt.c 中找到定义。这里还可以找到 CLINT, PLIC, VIRTIO, DRAM 等硬件的物理地址。固定这些地址意味着 xv6 只能运行在 QEMU 上。要注意,读写硬件设备地址的行为可能有副作用(它们不是 RAM)。比如 Tulip 的 CSR1, CSR2, CSR5 和 CSR8 的部分比特的读写有特殊规则。

当然,MMIO 方式就有可能导致 CPU 缓存这些硬件地址的值。为了不让 CPU 缓存这些值或做其他优化,对地址解引用的时候需要使用 volatile 关键字,确保 CPU 从真实硬件读取值。

现实中的操作系统要适配不同的主板芯片组,不能把硬件物理地址硬编码在内核里,所以操作系统在开机时会查询具体的硬件地址并做地址映射。在 Linux 上,可以使用以下命令查看具体的物理地址映射:

sudo cat /proc/iomem

练习

NIC

必须先看 21143 的硬件参考手册,了解其运行过程。基本上看以下章节即可。

  • 1.1 (introduction)

  • 3.2 (control and status registers)

  • 4.2 (DMA descriptors and the setup frame)

  • 4.3.4 (interrupts)

  • 4.3.6 (receiving)

  • 4.3.7 (transmitting)

我们要编写的驱动,并非一个完整的,能处理各种边界情况的驱动,而是一个只要基本功能(发送和接收数据包)完善的驱动。因为重点在于学习驱动的基本工作方式(DMA)以及其如何与内核交互。这意味着可以不编写错误处理等代码。

DMA 的基本工作方式,就是驱动首先在内存中设置好一些状态值和缓冲区,并通知硬件。然后硬件可以在不需要 CPU 参与的情况下把数据传输到内存的指定位置(或者反过来)。

以 Tulip 网卡为例,驱动首先设置好内存中的 RDES 环和 TDES 环,并且把它们的物理地址分别通过 CSR3 和 CSR4 告诉 Tulip。

需要发送数据包时,驱动把数据缓冲区地址填入 TDES 环中,然后通过 CSR1 通知 Tulip 开始发送数据包。当发送完成时,如何回收这些缓冲区空间呢?Tulip 可以一次性发送很多包。并且当 TDES 环满时可以发送一个中断。中断处理程序通过 CSR5 判断中断类型,如果是上述中断,那么一次性回收多个缓冲区空间。由于 TDES 环的空间有限,所以内核要控制进程不能一次性发送太多包。当 TDES 环满时,内核要让发送数据包的进程睡眠;直到上述中断回收了缓冲区空间,此时将进程唤醒,继续发送。

因为数据包的接收是被动的,所以必须在一开始就设置好接收缓冲区,等候数据包到来。数据包到来时,Tulip 会产生一个中断。如果是接收中断,那么逐个处理数据包并将其转交给网络栈继续处理,然后回收 RDES 环的空间。当 RDES 环满时,Tulip 的接收程序会暂停,设置 CSR2 可以让其继续工作。

简单起见,给 Tulip 设置混杂(Promiscuous)模式。这样不论接收的数据包的目的 MAC 地址是哪里,网卡都会接收。在正常情况下,要把一个 TDES 设置成 Setup Frame,用以控制网卡过滤哪些数据包。

UDP Receive

这个练习要写网络栈的接收代码。主要有三部分。

一是初始化,即sys_bind和sys_unbind。它们负责绑定或取消绑定端口。

二是内核部分,即ip_rx。只有当数据包是 UDP 数据包,数据包的目的端口已经被绑定,且端口的数据包队列仍有空间时,才将数据包地址存入到端口的数据包队列中,否则丢弃。C 语言的魅力在这个函数中能很好的体现,传进来的数据包地址要么存入数据包队列中,要么丢弃,丢弃意味着对它使用 kfree,否则就会内存泄露。

三是用户部分,即sys_recv。当函数发现数据包队列中已经有数据包时,取队头数据包;否则等待一个数据包到来。等待时进程要进入睡眠让出 CPU。ip_rx发现数据包到来时,也要唤醒睡眠的进程。

代码中贴心的提前定义了netlock,这提醒我们编写任何可能会导致数据竞争的代码时,要先加上这把锁。

我的代码

事实证明,编写驱动代码需要极高的耐心和细心,否则硬件不会那么容易地告诉你哪里做错了。

我就陷入了不知名的错误中长达十数个小时。两个练习的代码都写完,几乎要通过所有测试时,ping2失败了。我在 Tulip 接收代码调用net_rx前打印了整个 RDES 环,发现失败是因为驱动总是会漏掉几个收到的数据包。只要以某种特定顺序运行nettest ping2,Tulip 的接收进程就会卡住,不管怎样设置 CSR2 都没用。我又仔细地查了手册,并着重看了我认为值得注意的地方。可惜我不是 LLM,注意力还是太弱了。

虽然不能使用 AI 来写代码,但是不意味着不能参考已经有的驱动代码。我找来了 Linux 内核的 Tulip 驱动代码。仔细查阅后,我给原来的代码补充了几行可能遗漏了的部分,但还是同样的错误。到此时我已心力交瘁,已经花了太多时间,但是甚至不知道问题出在哪里。

我于是决定一比一复刻 Linux 的驱动代码。好在这是有效的,能通过所有测试。大部分代码逻辑都相同,不过还是有几个显著区别:

  1. Linux 内核需要先把虚拟地址翻译成 DMA 地址,这样网卡才能理解;xv6 内核页表是直接映射,所以填在 RDES 和 TDES 里的缓冲区地址用虚拟地址值即可。
  2. Linux 在网卡驱动之上建立了统一的sk_buff (socket buffer)层,管理所有网络数据包;在 xv6 练习中,一般会直接把缓冲区原始地址转交给上层处理。
  3. Linux 的 Tulip 驱动还有 poll 版本,使用了 NAPI,能通过精心安排的轮询,减少中断次数,提高高流量下的数据处理速度;我写的 Tulip 驱动参考非 NAPI 代码,通过中断处理所有接收的包。
  4. Linux 的tulip_start_xmit不是内核其他部分直接调用的,它被 Linux 网络设备层管理,驱动可以通过netif_stop_queue和netif_wake_queue主动停止或唤醒网络设备层向驱动发送包;而 xv6 中没有这些机制,所以需要在发送数据包时直接让进程睡眠或唤醒。
  5. Linux 内核实现了一个十分完善的 Tulip 驱动;我只摘取了其中的关键部分。

网络栈部分是以简洁为主,端口号绑定和数据包队列的实现比较直接。

一定要注意锁,尤其是涉及到睡眠的部分,要用 while 循环判断条件变量,防止假唤醒(有可能一次唤醒多个进程)。