Paddle2.x 版本 AI-Writer 使用魔改 GPT 生成网络小说。AI 写小说。针对小说生成的调优 GPT。
Paddle2.x 版本 AI-Writer 使用魔改 GPT 生成网络小说。AI 写小说。针对小说生成的调优 GPT。
用魔改 GPT 生成网文。Tuned GPT for novel generation. 原作者github地址:https://github.com/BlinkDL/AI-Writer
【爽文生成器】用魔改 GPT 生成网文 https://aistudio.baidu.com/aistudio/projectdetail/3532246
…python convert_pytorch2paddle.py 转换权重。python run.py。…python convert_pytorch2paddle.py 转换权重。python server.py 开启服务。web-client/index.html,进行愉快的玩耍。https://github.com/BlinkDL/AI-Writer
AI 写小说,支持 N/A/I卡 GPU 加速。采用我的 RWKV 模型,比 GPT 更快,训练代码:https://github.com/BlinkDL/RWKV-LM 。 另外请大家看,本页面的最后,我会解释模型的原理,不懂电脑也能懂。
也支持纯 CPU 快速生成,每秒 1-10 个字,下载请加:技术和用户 QQ 群 143626394(加入时请简单自我介绍)。
最新加入网页界面,执行 python server.py(或双击server.bat)然后打开 web-client 中的 index.html(推荐用Chrome)。
注意:模型的训练数据全部来自网文,缺乏生活常识。生成的文字仅供娱乐。请遵守法律法规。
同时使用了特殊采样方法,改善小模型的生成质量(介绍见 https://zhuanlan.zhihu.com/p/394766831 )。
我的知乎是 https://www.zhihu.com/people/bopengbopeng 。
网友移植的 Paddle 版:https://github.com/JunnYu/Paddle-AI-Writer 。
安装方法(请装精确版本。例如python装3.8.x;Windows请升级win10 64位21H1):
Windows小白:先试QQ群文件的【纯CPU exe版】,但CPU需要AVX2(例如intel四代以上),不支持AVX2就用【WindowsCPU版】
Windows有N卡:装python3.8,CUDA 11.1,CUDNN,torch1.9.1+cu111(在QQ群文件都有)。用940mx也能跑。用1050ti就挺快。目前只需要2G显存,以后需要4G显存
Windows有A/I卡:装python3.8,pip install torch onnxruntime-directml。用A/I卡模型。在 run.py 和 server.py 设置为 dml 模式
WindowsCPU版:装python3.8,pip install torch,用N卡模型。在 run.py 和 server.py 设置为 cpu 模式
Linux有N卡:和【Windows有N卡】相同
Linux有A/I卡:可以用https://onnxruntime.ai/加速,自己研究。不懂就用CPU版
LinuxCPU版:和【WindowsCPU版】相同
Mac:目前只能CPU版。和【WindowsCPU版】相同。某些Mac需要用pip3装包,用python3运行。常见问题:
…群友写的训练教程:
https://zhuanlan.zhihu.com/p/432263234
https://zhuanlan.zhihu.com/p/432715547
https://zhuanlan.zhihu.com/p/435972716
训练后怎么运行:
1. 默认 RWKV-LM 训练的模型很小,所以,需要修改 AI-writer 的 run.py,设置 ctx_len n_layer n_head 和 RWKV-LM 的 train.py 一致。还有 WORD_NAME(json词表) MODEL_NAME。
2. 在 run.py 的 UNKNOWN_CHAR,将 \ue083 改成词表中一个不可能在正常文字出现的\\uxxxx乱码,或某个最罕见的字(字不需要\符号)。意思是,如果看见不在词表里面的字,就用 UNKNOWN_CHAR 代表。
3. 如果用 server.py,也同样修改。新玄幻模型效果:
言情模型效果【黄字是用户输入的开头,后面是模型续写】:
…旧模型效果:
电脑的原理,是题海战术+笨鸟先飞。它把字变成很多数,然后,找这些数的数学(统计学)规律。
电脑的学习目标:输入一堆字,预测下一个字。
我的小模型,支持 8849 种字。每个字对应两组数,每组有 768 个数。
第一,编码。
实际找到的编码,不一定有容易描述的维度含义。
总之,输入 512 个字,会变成 512*768 = 393216 个数。
第二,模型会把这 393216 个数经过一番运算(和另外几千万个数做运算,这几千万个数也会不断调整),最终得到 768 个数。这个过程是最有趣的,稍后也可以解释。
第三,将 768 个数,与 8849 种字的【输出组】比较,计算和每个字的接近程度,就是输出这个字的概率。
暂无开放 Issues,或尚未同步最近议题。