Baike.dev
All toolsOnline toolsAI codingTrendingOpen sourceNewsSubmit
Log in
< Back to tools
N

Notes-HighPerformanceLinuxServerProgramming

> 编程语言
Open source

Linux高性能服务器编程(作者 游双) 读书笔记和Demo

393 stars0 likes0 views
WebsiteGitHub

About

Linux高性能服务器编程(作者 游双) 读书笔记和Demo

第一章 TCP/IP协议族

TCP/IP协议族体系结构和主要协议

协议族中协议众多, 这本书只选取了IP和TCP协议 - 对网络编程影响最直接

同样七层是osi参考模型, 简化后得到四层 不同层次之间, 通过接口互相交流, 这样方便了各层次的修改

应用层 负责处理应用程序的逻辑

表示层 定义了数据的格式及加密

会话层 它定义了如何开始、控制和结束一个会话,包括对多个双向消息的控制和管理,以便在只完成连续消息的一部分时可以通知应用,从而使表示层看到的数据是连续的

传输层 为两台主机的应用提供端到端(end to end)的通信. 与网络层使用的下一跳不同, 他只关心起始和终止, 中转过程交给下层处理. 此层存在两大协议TCP协议和UDP协议 TCP协议(Transmission Control Protocol 传输控制协议)

  • 为应用层提供可靠的, 面向连接, 基于流的服务
  • 通过超时重传和数据确认等确保数据正常送达.
  • TCP需要存储一些必要的状态, 连接的状态, 读写缓冲区, 诸多定时器 UPD协议(User Datagram Protocol 用户数据报协议)
  • 为应用层提供不可靠的, 无连接的, 基于数据报的服务
  • 一般需要自己处理数据确认和超时重传的问题
  • 通信两者不存储状态, 每次发送都需要指定地址信息. 有自己的长度

网络层 实现了数据包的选路和转发. 只有数据包到不了目标地址, 就下一跳(hop by hop), 选择最近的. IP协议(Internet Protocol) 以及 ICMP协议(Internet Control Message Protocol) 后者协议是IP协议的补充, 用来检测网络连接 1. 差错报文, 用来回应状态 2. 查询报文(ping程序就是使用的此报文来判断信息是否送达)

数据链路层 实现了网卡接口的网络驱动程序. 这里驱动程序方便了厂商的下层修改, 只需要向上层提供规定的接口即可. 存在两个协议 ARP协议(Address Resolve Protocol, 地址解析协议). 还有RARP(Reverse ~, 逆地址解析协议). 由于网络层使用IP地址寻址机器, 但是数据链路层使用物理地址(通常为MAC地址), 之间的转化涉及到ARP协议ARP欺骗, 可能与这个有关, 目前不去学习

封装 上层协议发送到下层协议. 通过封装实现, 层与层之间传输的时候, 加上自己的头部信息. 被TCP封装的数据成为 TCP报文段

  • 内核部分发送成功后删除数据

被UDP封装的数据成为 UDP数据报

  • 发送后即删除

再经IP封装后成为IP数据报 最后经过数据链路层封装后为 帧

以太网最大数据帧1518字节 抛去14头部 帧尾4校验 MTU: 帧的最大传输单元 一般为1500字节 MSS: TCP数据包最大的数据载量 1460字节 = 1500字节 - 20Ip头-20TCP头 还有额外的40字节可选部分

ARP ARP协议能实现任意网络层地址到任意物理地址的转换

第二章 IP协议详解

IP协议是TCP/IP协议簇的核心协议, 是socket网络编程的基础之一 IP协议为上层协议提供无状态, 无连接, 不可靠的服务

IP数据报最大长度是65535(2^16 - 1)字节, 但是有MTU的限制

当IP数据报的长度超过MTU 将会被分片传输. 分片可能发生在发送端, 也可能发生在中转路由器, 还可能被多次分片. 只有在最终的目标机器上, 这些分片才会被内核中的ip模块重新组装

路由机制

给定了目标IP地址后, 将会匹配路由表中的哪一项呢? 分三个步骤

  • 查找路由表中和数据报的目标IP地址完全匹配的主机IP地址. 如果找到就使用该路由项. 否则下一步
  • 查找路由表中和数据报的目标IP地址具有相同网路ID的网络IP地址 找到....... 否则下一步
  • 选择默认路由项, 通常意味着下一跳路由是网关

第三章 TCP协议详解

Tcp读写都是针对缓冲区来说, 所以没有固定的读写次数对应关系.

UDP没有缓冲区, 必须及时接受数据否则会丢包, 或者接收缓冲区过小就会造成数据报截断

ISN-初始序号值 32位序号 后续的TCP报文段中序号值 seq = ISN + 报文段首字节在整个字节流中的偏移 32位确认号 收到的TCP报文序号值+1. 这个32位确认号每次发送的是上一次的应答

ACK标志: 表示确认号是否有效. 携带ACK标志的报文段称为确认报文段 PSH标志: 提示接收端应用程序从TCP接受缓冲区中读走数据, 为后续数据腾出空间 RST标志: 要求对方重新建立连接 携带......复位报文段 SYN标志: 标志请求建立一个连接 携带......同步报文段 FIN标志: 通知对方本端连接要关闭了, 携带..结束报文段

16位窗口大小: 窗口指的是接收通告窗口, 告诉对方本端的TCP 接收缓冲区还能容纳多少字节的数据 16位校验和: 可靠传输的重要保障发送端填充, 接收端执行CRC算法校验是否损坏, 同时校验TCP头部和数据部分

TCP连接的建立和关闭

…

第五章Linux网络编程基础API

socket基础api位于 sys/socket.h 头文件中 socket最开始的含义是 一个IP地址和端口对. 唯一的表示了TCP通信的一段 网络信息api netdb.h头文件中

主机字节序和网络字节序

字节序分为 大端字节序和小端字节序 由于大多数PC采用小端字节序(高位存在高地址处), 所以小端字节序又称为主机字节序

为了防止不同机器字节序不同导致的错乱问题. 规定传输的时候统一为 大端字节序(网络字节序). 这样主机会根据自己的情况决定 - 是否转换接收到的数据的字节序

API

基础连接

…

客户端

c
// 发起连接
#include 
#include 
// 第三个参数为 地址指定的长度
// 成功返回0 失败返回-1
int connect(int sockfd, const struct sockaddr * serv_addr, socklen_t addrlen);

// 关闭连接
#include 
// 参数为保存的socket
// 并非立即关闭, 将socket的引用计数-1, 当fd的引用计数为0, 才能关闭(需要查阅)
int close(int fd);

// 立即关闭
#include 
// 第二个参数为可选值 
//	SHUT_RD 关闭读, socket的接收缓冲区的数据全部丢弃
//	SHUT_WR 关闭写 socket的发送缓冲区全部在关闭前发送出去
//	SHUT_RDWR 同时关闭读和写
// 成功返回0 失败为-1 设置errno
int shutdown(int sockfd, int howto)

基础TCP

c
#include
#include

// 读取sockfd的数据
// buf 指定读缓冲区的位置
// len 指定读缓冲区的大小
// flags 参数较多
// 成功的时候返回读取到的长度, 可能小于预期长度, 需要多次读取.   读取到0 通信对方已经关闭连接, 错误返回-1
ssize_t recv(int sockfd, void *buf, size_t len, int flags);
// 发送
ssize_t send(int sockfd, const void *buf, size_t len, int flags);
选项名 含义 可用于发送 可用于接收
MSG_CONFIRM 指示链路层协议持续监听, 直到得到答复.(仅能用于SOCK_DGRAM和SOCK_RAW类型的socket) Y N
MSG_DONTROUTE 不查看路由表, 直接将数据发送给本地的局域网络的主机(代表发送者知道目标主机就在本地网络中) Y N
MSG_DONTWAIT 非阻塞 Y Y
MSG_MORE 告知内核有更多的数据要发送, 等到数据写入缓冲区完毕后,一并发送.减少短小的报文提高传输效率 Y N
MSG_WAITALL 读操作一直等待到读取到指定字节后才会返回 N Y
MSG_PEEK 看一下内缓存数据, 并不会影响数据 N Y
MSG_OOB 发送或接收紧急数据 Y Y
MSG_NOSIGNAL 向读关闭的管道或者socket连接中写入数据不会触发SIGPIPE信号 Y N

基础UDP

c
#include 
#include 
// 由于UDP不保存状态, 每次发送数据都需要 加入目标地址.
// 不过recvfrom和sendto 也可以用于 面向STREAM的连接, 这样可以省略发送和接收端的socket地址
ssize_t recvfrom(int sockfd, void *buf, size_t len, int flags, struct sockaddr* src_addr, socklen_t* addrlen);
ssize_t sendto(int sockfd, const void* buf, size_t len, ing flags, const struct sockaddr* dest_addr, socklen_t addrlen);

通用读写函数

…

其他Api

…
SO_REUSEADDR 重用本地地址 sock被设置此属性后, 即使sock在被bind()后处于TIME_WAIT状态, 此时与他绑定的socket地址依然能够立即重用来绑定新的sock
SO_RCVBUF TCP接收缓冲区大小 最小值为256字节. 设置完后系统会自动加倍你所设定的值. 多出来的一倍将用用作空闲缓冲区处理拥塞
SO_SNDBUF TCP发送缓冲区大小 最小值为2048字节
SO_RCVLOWAT 接收的低水位标记 默认为1字节, 当TCP接收缓冲区中可读数据的总数大于其低水位标记时, IO复用系统调用将通知应用程序可以从对应的socket上读取数据
SO_SNDLOWAT 发送的高水位标记 默认为1字节, 当TCP发送缓冲区中空闲空间大于低水位标记的时候可以写入数据
SO_LINGER
c
struct linger
{
	int l_onoff /* 开启非0, 关闭为0*/
	int l_linger; /* 滞留时间*/
	/*
	* 当onoff为0的时候此项不起作用, close调用默认行为关闭socket
	* 当onoff不为0 且linger为0, close将立即返回, TCP将丢弃发送缓冲区的残留数据, 同时发送一个复位报文段
	* 当onoff不为0 且linger大于0 . 当socket阻塞的时候close将会等待TCP模块发送完残留数据并得到确认后关 
	* 闭, 如果是处于非阻塞则立即关闭
	*/
};

网络信息API

…

以下两个函数通过读取/etc/services文件 来获取服务信息 以下内容来自维基百科

Service文件是现代操作系统在etc目录下的一个配置文件,记录网络服务名对应的端口号与协议 其用途如下

  • 通过TCP/IP的API函数(声明在netdb.h中)直接查到网络服务名与端口号、使用协议的对应关系。如getservbyname("serve","tcp")获取端口号;getservbyport(htons(port),“tcp”)获取端口和协议上的服务名
  • 如果用户在这个文件中维护所有使用的网络服务名字、端口、协议,那么可以一目了然的获悉哪些端口号用于哪个服务,哪些端口号是空闲的
c
#include 
// 根据名称获取某个服务的完整信息
struct servent getservbyname(const char* name, const char* proto);

// 根据端口号获取服务信息
struct servent getservbyport(int port, const char* proto);

struct servent
{
	char* s_name; /* 服务名称*/
	char ** s_aliases; /* 服务的别名列表*/
	int s_port; /* 端口号*/
	char* s_proto; /* 服务类型, 通常为TCP或UDP*/
}
…
c
#include 
// host 存储返回的主机名
// serv存储返回的服务名

int getnameinfo(const struct sockaddr* sockaddr, socklen_t addrlen, char* host, socklen_t hostlen, char* serv
	socklen_t servlen, int flags);

测试 使用

bash
telnet ip port #来连接服务器的此端口
netstat -nt | grep port #来查看此端口的监听

第六章高级IO函数

Linux提供的高级IO函数, 自然是特定条件下能力更强, 不然要他干啥, 特定条件自然限制了他的使用频率 文件描述符 文件描述符在是一个非负整数。是一个索引值,指向内核为每一个进程所维护的该进程打开文件的记录表。 STDOUT_FILENO(值为1)- 值为1的文件描述符为标准输出, 关闭STDOUT_FILENO后用dup即可返回最小可用值(目前为, 1) 这样输出就重定向到了调用dup的参数指向的文件

创建文件描述符 - pipe dup dup2 splice select

pipe函数 这个函数可用于创建一个管道, 实现进程间的通信.

c
// 函数定义
// 参数文件描述符数组 fd[0] 读出 fd[1]写入 单向管道
// 成功返回0, 并将一对打开的文件描述符填入其参数指向的数组
// 失败返回-1 errno
#include 
int pipe(int fd[2]);
c
// 双向管道
// 第一个参数为 协议PF_UNIX(书上是AF_UNIX)感觉这里指明协议使用PF更好一些
#include 
#include 
int socketpair(int domain, int type, int protocol, int fd[2]);

学习了后面的内容了解到了进程间通信, 回来补上一个例子

c
int main()
{
    int fds[2];
    socketpair(PF_UNIX, SOCK_STREAM, 0, fds);
    int pid = fork();
    if (pid == 0)
    {
        close(fds[0]);
        char a[] = "123";
        send(fds[1], a, strlen(a), 0);
    }
    else if (pid > 0)
    {
        close(fds[1]);
        char b[20] {};
        recv(fds[0], b, 20, 0);
        printf("%s", b);
    }
}

dup和dup2函数 复制一个现有的文件描述符

c
#include 
// 返回的文件描述符总是取系统当前可用的最小整数值
int dup(int oldfd);
// 可以用newfd来制定新的文件描述符, 如果newfd已经被打开则先关闭
// 如果newfd==oldfd 则不关闭newfd直接返回
int dup2(int oldfd, int newfd);

dup函数创建一个新的文件描述符, 新的文件描述符和原有的file_descriptor共同指向相同的目标. 回来补上例子, 这个例子由于关掉了STDOUT_FILENOdup最小的即为STDOUT_FILENO所以 标准输出都到了这个文件之中

c
int main()
{
    int filefd = open("/home/lsmg/1.txt", O_WRONLY);
    close(STDOUT_FILENO);
    dup(filefd);
    printf("123\n");
    exit(0);
}

读写数据 - readv writev mmap munmap

readv/writev

c
#include 
// count 为 vector的长度, 即为有多少块内存
// 成功时返回写入\读取的长度 失败返回-1
ssize_t readv(int fd, const struct iovec* vector, int count);
ssize_t writev(int fd, const struct iovec* vector, int count);

struct iovec {
	void* iov_base /* 内存起始地址*/
	size_t iov_len /* 这块内存长度*/
}

回来补上一个使用例子, 这个例子将一个int的内存表示写入到了文件之中 使用hexdump查看这个文件0000000 86a0 0001可以看到186a0即为100000

c
// 2020年1月7日16:52:11
int main()
{
    int file = open("/home/lsmg/1.txt", O_WRONLY);
    int temp = 100000;
    iovec temp_iovec{};
    temp_iovec.iov_base = &temp;
    temp_iovec.iov_len = sizeof(temp);
    writev(file, &temp_iovec, 1);
}

sendfile函数

c
#include 
// offset为指定输入流从哪里开始读, 如果为NULL 则从开头读取
ssize_t sendfile(int out_fd, int in_fd, off_t* offset, size_t count);

O_RDONLY只读模式
O_WRONLY只写模式
O_RDWR读写模式
int open(file_name, flag);

stat结构体, 可用fstat生成, 简直就是文件的身份证

…

身份证生成函数

c
// 第一个参数需要调用open生成文件描述符
// 下面其他两个为文件全路径
int fstat(int filedes, struct stat *buf);

// 当路径指向为符号链接的时候, lstat为符号链接的信息. stat为符号链接指向文件信息
int stat(const char *path, struct stat *buf);
int lstat(const char *path, struct stat *buf);

/*
* ln -s source dist  建立软连接, 类似快捷方式, 也叫符号链接
* ln source dist  建立硬链接, 同一个文件使用多个不同的别名, 指向同一个文件数据块, 只要硬链接不被完全
* 删除就可以正常访问
* 文件数据块 - 文件的真正数据是一个文件数据块, 打开的`文件`指向这个数据块, 就是说
* `文件`本身就类似快捷方式, 指向文件存在的区域.
*/

mmap和munmap函数

mmap创建一块进程通讯共享的内存(可以将文件映射入其中), munmap释放这块内存

c
#include 

// start 内存起始位置, 如果为NULL则系统分配一个地址 length为长度
// port参数 PROT_READ(可读) PROT_WRITE(可写) PROT_EXEC(可执行), PROT_NONE(不可访问)
// flag参数 内存被修改后的行为
// - MAP_SHARED 进程间共享内存, 对内存的修改反映到映射文件中
// - MAP_PRIVATE 为调用进程私有, 对该内存段的修改不会反映到文件中
// - MAP_ANONUMOUS 不是从文件映射而来, 内容被初始化为0, 最后两个参数被忽略
// 成功返回区域指针, 失败返回 -1
void* mmap(void* start, size_t length, int port, int flags, int fd, off_t offset);
// 成功返回0 失败返回-1
int munmap(void* start, size_t length);

splice函数 用于在两个文件名描述符之间移动数据, 0拷贝操作

…

第七章Linux服务器程序规范

  • Linux程序服务器 一般以后台进程形式运行. 后台进程又称为守护进程(daemon). 他没有控制终端, 因而不会意外的接收到用户输入. 守护进程的父进程通常都是init进程(PID为1的进程)
  • Linux服务器程序有一套日志系统, 他至少能输出日志到文件. 日志这东西太重要了,排错对比全靠它.
  • Linux服务器程序一般以某个专门的非root身份运行. 比如mysqld有自己的账户mysql.
  • Linux服务器程序一般都有自己的配置文件, 而不是把所有配置都写死在代码里面, 方便后续的更改.
  • Linux服务器程序通常在启动的时候生成一个PID文件并存入/var/run 目录中, 以记录改后台进程的PID.
  • Linux服务器程序通常需要考虑系统资源和限制, 预测自己的承受能力

日志

bash
sudo service rsyslog restart // 启动守护进程
…

用户信息, 切换用户

UID - 真实用户ID EUID - 有效用户ID - 方便资源访问 GID - 真实组ID EGID - 有效组ID

c
#include 
#include 

uid_t getuid();
uid_t geteuid();
gid_t getgid();
gid_t getegid();
int setuid(uid_t uid);
int seteuid(uid_t euid);
int setgid(gid_t gid);
int setegid(gid_t gid);

可以通过 setuid和setgid切换用户 root用户uid和gid均为0

进程间关系

PGID - 进程组ID(Linux下每个进程隶属于一个进程组)

#include pid_t getpgid(pid_t pid); 成功时返回pid所属的pgid 失败返回-1 int setpgid(pid_t pid, pid_t pgid);

会话 一些有关联的进程组将形成一个会话 略过

查看进程关系 ps和less

资源限制 略 改变目录 略

第八章高性能服务器程序框架

服务器模型-CS模型

优点

  • 实现起来简单 缺点
  • 服务器是通信的中心, 访问过大的时候会导致响应过慢

模式图

编写的demo 没有用到fork函数. 后续待完善

服务器框架 IO模型

这个模型大概能够理解, 自己也算是学了半年的Javaweb.

socket在创建的时候默认是阻塞的, 不过可以通过传SOCK_NONBLOCK参解决 非阻塞调用都会立即返回 但可能事件没有发生(recv没有接收到信息), 没有发生和出错都会返回-1 所以需要通过errno来区分这些错误. 事件未发生 accept, send,recv errno被设置为 EAGAIN(再来一次)或EWOULDBLOCK(期望阻塞) connect 被设置为 EINPROGRESS(正在处理中)

需要在事件已经发生的情况下 去调用非阻塞IO, 才能提高性能

常用IO复用函数 select poll epoll_wait 将在第九章后面说明 信号将在第十章说明

两种高效的事件处理模式和并发模式

程序分为计算密集型(CPU使用很多, IO资源使用很少)和IO密集型(反过来). 前者使用并发编程反而会降低效率, 后者则会提升效率 并发编程有多进程和多线程两种方式

并发模式 - IO单元和多个逻辑单元之间协调完成任务

Issues· 0 open

View all issuesOpen on GitHub

No open issues yet, or sync has not completed.

> Tags

C++booknodeclinuxserver

No comments yet. Be the first to share.

> Details

PublishedAug 1, 2026
UpdatedSep 17, 2026
Category编程语言
PricingOpen source

> Related tools

T
TypeScript
JavaScript 的超集,为前端与全栈提供静态类型
P
Python
通用编程语言,广泛用于 Web、数据与 AI
G
Go
Google 推出的简洁高效系统语言