Unicode 例程 (UTF8、UTF16、UTF32) 和 Base64: 使用 SSE2、AVX2、NEON、AVX-512、RISC-V 向量扩展、LoongArch64、POWER,每秒可处理数十亿个字符
Unicode 例程 (UTF8、UTF16、UTF32) 和 Base64: 使用 SSE2、AVX2、NEON、AVX-512、RISC-V 向量扩展、LoongArch64、POWER,每秒可处理数十亿个字符
大多数现代软件都依赖 Unicode 标准。在内存中,Unicode 字符串使用 UTF-8 或 UTF-16 表示。UTF-8 格式是 Web 上的事实上的标准(如 JSON、HTML 等),并且在许多流行的编程语言中被采用为默认格式(如 Go、Zig、Rust、Swift 等)。UTF-16 格式是 Java、C# 和许多 Windows 技术中的标准。
并非所有字节序列都是有效的 Unicode 字符串。在没有先对其进行验证的情况下,使用 UTF-8 和 UTF-16LE 编码的 Unicode 字符串是不安全的。此外,我们通常需要通过称为 转码 的过程将字符串从一种编码转换为另一种编码。出于安全考虑,这种转码应进行验证:它应拒绝转换不正确的字符串。
暂无开放 Issues,或尚未同步最近议题。