macOS の機能を使った
分ち書き

CasualConc では、macOS の標準機能を利用して、テキストの分ち書き処理を行うことができます。

テキストを分ち書きするには、設定のタガーにあるトークン化にチェックを入れます。言語は自動で問題ないはずですが、もし結果が芳しくないようであれば、言語を指定してください。

スキップにチェックを入れると、XML タイプのタグや行頭の指定文字数までをトークン化の処理から除外できます。

以下に日本語と中国語のサンプルを提示します。日本語の方はそれなりにできていますが、中国語の方は、イマイチだそうです。