Use Thai poetgram
Author: wannaphongCreated Aug 26, 2026Updated Aug 26, 2026
I think Thai poetgram in https://github.com/BlinkDL/ChatRWKV/blob/main/tokenizer/rwkv_tokenizer.py#L730. It still can't covers the entire Thai language.
I think you should use this https://fontuni.com/articles/2015-07-12-thai-poetgram.html.
กีฬาบังลังก์ ฿๑,๒๓๔,๕๖๗,๘๙๐
๏ จับฅอคนบั่นต้อง อาญา
ขุดฆ่าโคตรฃัตติยา ซ่านม้วย
ธรรมฤๅผ่อนรักษา ใจชั่ว โฉดแฮ
สืบอยู่เต็มศึกด้วย ฝุ่นฟ้ากีฬา กามฦๅ ฯ
๏ กตัญญูไป่พร้อม ปฐมฌาน
เกมส๎วัฒน์ปฏิภาณ ห่อนล้ำ
ทฤษฎีถ่อยๆ สังหาร เกณฑ์โทษ
โกรธจี๊ดจ๋อยจ่มถ้ำ อยู่เฝ้า “อตฺตา” ๚ะ๛
๑๒ กรกฎาคม ๒๕๕๘Source: BlinkDL/ChatRWKV