百科.dev
全部条目在线工具AI 编程趋势榜开源项目技术资讯提交条目
登录
< 返回工具列表
S

simdutf

> 编程语言
开源

Unicode 例程 (UTF8、UTF16、UTF32) 和 Base64: 使用 SSE2、AVX2、NEON、AVX-512、RISC-V 向量扩展、LoongArch64、POWER,每秒可处理数十亿个字符

1.9K stars0 点赞1 次浏览
访问官网GitHub

工具介绍

Unicode 例程 (UTF8、UTF16、UTF32) 和 Base64: 使用 SSE2、AVX2、NEON、AVX-512、RISC-V 向量扩展、LoongArch64、POWER,每秒可处理数十亿个字符

simdutf: 每秒处理数十亿个字符的文本

  • 现实世界中的使用
  • 速度有多快?
  • 要求
  • 用法 (Usage)
  • 使用方法 (CMake)
  • 单一头文件版本
  • 带有限功能的单个头文件版本
  • 包
  • 示例
  • API
  • 安全转换功能的成本
  • Base64
  • 查找
  • C++20 和 std::span 在 simdutf 中的使用
  • C++23 和 constexpr 支持
  • 命令行工具
  • 手动实施选择
  • 基准测试
  • 不使用 C++ 标准库进行编译
  • C API
  • SIMDUTF_USE_STATIC_INITIALIZATION
  • 线程安全
  • 参考
  • 许可

大多数现代软件都依赖 Unicode 标准。在内存中,Unicode 字符串使用 UTF-8 或 UTF-16 表示。UTF-8 格式是 Web 上的事实上的标准(如 JSON、HTML 等),并且在许多流行的编程语言中被采用为默认格式(如 Go、Zig、Rust、Swift 等)。UTF-16 格式是 Java、C# 和许多 Windows 技术中的标准。

并非所有字节序列都是有效的 Unicode 字符串。在没有先对其进行验证的情况下,使用 UTF-8 和 UTF-16LE 编码的 Unicode 字符串是不安全的。此外,我们通常需要通过称为 转码 的过程将字符串从一种编码转换为另一种编码。出于安全考虑,这种转码应进行验证:它应拒绝转换不正确的字符串。

Issues· 0 开放

查看全部 Issues在 GitHub 打开

暂无开放 Issues,或尚未同步最近议题。

> 标签

C++avx-512avx2base64neon

暂无评论,来聊聊你的看法吧

> 工具信息

发布日期2026年8月1日
最后更新2026年9月17日
分类编程语言
定价开源

> 相关工具

T
TypeScript
JavaScript 的超集,为前端与全栈提供静态类型
P
Python
通用编程语言,广泛用于 Web、数据与 AI
G
Go
Google 推出的简洁高效系统语言