Baike.dev
All toolsOnline toolsAI codingTrendingOpen sourceNewsSubmit
Log in
< Back to tools
P

Paddle-AI-Writer

> 编程语言
Open source

Paddle2.x version AI-Writer 用魔改 GPT 生成网文小说。AI 写小说。Tuned GPT for novel generation。

198 stars0 likes1 views
WebsiteGitHub

About

Paddle2.x version AI-Writer 用魔改 GPT 生成网文小说。AI 写小说。Tuned GPT for novel generation。

Paddle2.x 版本AI-Writer

用魔改 GPT 生成网文。Tuned GPT for novel generation. 原作者github地址:https://github.com/BlinkDL/AI-Writer

更新记录

  • 2022/02/27 切换到dev分支(旧代码在main分支),dev分支同步原作者代码,并且更新到最新版本,此外还添加了Aistudio项目链接,可以直接快速体验!

Aistudio项目链接

【爽文生成器】用魔改 GPT 生成网文 https://aistudio.baidu.com/aistudio/projectdetail/3532246

目录结构

…

依赖

  • paddlepaddle>=2.2 请参考 paddle安装教程 安装paddlepaddle2.2+

命令行使用方法:

  1. 进入原作者的 https://github.com/BlinkDL/AI-Writer ,下载模型,在右边 Release(v2022-02-15 最新综合模型(N卡)),解压 pth 到 model 目录。
  2. python convert_pytorch2paddle.py 转换权重。
  3. 运行 python run.py。
…

网页界面使用方法:

  1. 进入原作者的 https://github.com/BlinkDL/AI-Writer ,下载模型,在右边 Release(v2022-02-15 最新综合模型(N卡)),解压 pth 到 model 目录。
  2. python convert_pytorch2paddle.py 转换权重。
  3. 运行 python server.py 开启服务。
  4. 打开 web-client/index.html,进行愉快的玩耍。

Reference

https://github.com/BlinkDL/AI-Writer


原作者的README

AI 写小说,支持 N/A/I卡 GPU 加速。采用我的 RWKV 模型,比 GPT 更快,训练代码:https://github.com/BlinkDL/RWKV-LM 。 另外请大家看,本页面的最后,我会解释模型的原理,不懂电脑也能懂。

  1. 先看下面的【安装方法】。下载模型,在右边 Release(或者看QQ群文件),解压到 model 目录。
  2. 运行 python run.py(或双击run.bat),建议在cmd运行,看出错提示。有问题请看【安装方法】和【常见问题】。

也支持纯 CPU 快速生成,每秒 1-10 个字,下载请加:技术和用户 QQ 群 143626394(加入时请简单自我介绍)。

最新加入网页界面,执行 python server.py(或双击server.bat)然后打开 web-client 中的 index.html(推荐用Chrome)。

注意:模型的训练数据全部来自网文,缺乏生活常识。生成的文字仅供娱乐。请遵守法律法规。

同时使用了特殊采样方法,改善小模型的生成质量(介绍见 https://zhuanlan.zhihu.com/p/394766831 )。

我的知乎是 https://www.zhihu.com/people/bopengbopeng 。

网友移植的 Paddle 版:https://github.com/JunnYu/Paddle-AI-Writer 。

安装方法(请装精确版本。例如python装3.8.x;Windows请升级win10 64位21H1):

Windows小白:先试QQ群文件的【纯CPU exe版】,但CPU需要AVX2(例如intel四代以上),不支持AVX2就用【WindowsCPU版】
Windows有N卡:装python3.8,CUDA 11.1,CUDNN,torch1.9.1+cu111(在QQ群文件都有)。用940mx也能跑。用1050ti就挺快。目前只需要2G显存,以后需要4G显存
Windows有A/I卡:装python3.8,pip install torch onnxruntime-directml。用A/I卡模型。在 run.py 和 server.py 设置为 dml 模式
WindowsCPU版:装python3.8,pip install torch,用N卡模型。在 run.py 和 server.py 设置为 cpu 模式
Linux有N卡:和【Windows有N卡】相同
Linux有A/I卡:可以用https://onnxruntime.ai/加速,自己研究。不懂就用CPU版
LinuxCPU版:和【WindowsCPU版】相同
Mac:目前只能CPU版。和【WindowsCPU版】相同。某些Mac需要用pip3装包,用python3运行。

常见问题:

…

群友写的训练教程:

https://zhuanlan.zhihu.com/p/432263234

https://zhuanlan.zhihu.com/p/432715547

https://zhuanlan.zhihu.com/p/435972716

训练后怎么运行:

1. 默认 RWKV-LM 训练的模型很小,所以,需要修改 AI-writer 的 run.py,设置 ctx_len n_layer n_head 和 RWKV-LM 的 train.py 一致。还有 WORD_NAME(json词表) MODEL_NAME。
2. 在 run.py 的 UNKNOWN_CHAR,将 \ue083 改成词表中一个不可能在正常文字出现的\\uxxxx乱码,或某个最罕见的字(字不需要\符号)。意思是,如果看见不在词表里面的字,就用 UNKNOWN_CHAR 代表。
3. 如果用 server.py,也同样修改。

新玄幻模型效果:

言情模型效果【黄字是用户输入的开头,后面是模型续写】:

…

旧模型效果:

模型原理(简化版)

电脑的原理,是题海战术+笨鸟先飞。它把字变成很多数,然后,找这些数的数学(统计学)规律。

电脑的学习目标:输入一堆字,预测下一个字。

  • 只要学会这个,就可以一个个字写下去。
  • 训练的小说有几万本,每次随机挑一段 512 个字输进去,让电脑猜下一个字,看是否能猜对。
  • 不断重复这个过程,不断考试。
  • 你可以自己玩这个游戏(遮住后文,猜下一个字),会发现,需要理解前文才能玩对。

我的小模型,支持 8849 种字。每个字对应两组数,每组有 768 个数。

  • 例如:"我" = 【0.123 -1.534 ...】,【-0.827 2.343 ...】,不妨称为【输入组】和【输出组】。
  • 大模型,每个字会对应几千几万个数。

第一,编码。

  • 每个字根据它的【输入组】,变成 768 个数,每个数代表某种隐藏含义。
  • 举例,每个字的第A个数代表"好-坏"维度,第B个数代表"名词-非名词"维度,等等。

实际找到的编码,不一定有容易描述的维度含义。

  • 因为具体的编码,是电脑自动去发现,无需人工干预。
  • 最初是随机编码。电脑会不断用【求导数】的方法计算,修改编码,改进预测结果。
  • 大致可以认为:如果电脑发现,把某个字的第某个数增加 0.001,可以改进预测结果,它就去做这个事。
  • 因为预测结果是否正确,是客观标准。所以它只要不断这里+0.001,那里-0.001,就慢慢接近目标。

总之,输入 512 个字,会变成 512*768 = 393216 个数。

第二,模型会把这 393216 个数经过一番运算(和另外几千万个数做运算,这几千万个数也会不断调整),最终得到 768 个数。这个过程是最有趣的,稍后也可以解释。

第三,将 768 个数,与 8849 种字的【输出组】比较,计算和每个字的接近程度,就是输出这个字的概率。

Issues· 0 open

View all issuesOpen on GitHub

No open issues yet, or sync has not completed.

> Tags

Python

No comments yet. Be the first to share.

> Details

PublishedAug 1, 2026
UpdatedSep 18, 2026
Category编程语言
PricingOpen source

> Related tools

T
TypeScript
JavaScript 的超集,为前端与全栈提供静态类型
P
Python
通用编程语言,广泛用于 Web、数据与 AI
G
Go
Google 推出的简洁高效系统语言