strj-tokenize.md
In audubon: Japanese Text Processing Tools

segment works

{
  "type": "list",
  "attributes": {},
  "value": [
    {
      "type": "character",
      "attributes": {},
      "value": ["宮沢賢治訳述"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["そのころわたくしは、", "モリーオ市の", "博物局に", "勤めて", "居りました。"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["十八等官でしたから", "役所の", "なかでも、", "ずうっと", "下の", "方でしたし俸給も", "ほんの", "わずかでしたが、", "受持ちが", "標本の", "採集や", "整理で", "生れ付き", "好きな", "ことでしたから、", "わたくしは", "毎日ずいぶん", "愉快には", "たらきました。", "殊に", "そのころ、", "モリーオ市では", "競馬場を", "植物園に", "拵え直すと", "いうので、", "その", "景色の", "いいまわりに", "アカシヤを", "植え込んだ", "広い", "地面が、", "切符売場や", "信号所の", "建物の", "ついたまま、", "わたくしどもの", "役所の", "方", "へ", "まわって", "来た", "ものですから、", "わたくしは", "すぐ", "宿直と", "いう", "名前で", "月賦で", "買った", "小さな", "蓄音器と", "二十枚ばかりの", "レコードを", "もって、", "その", "番小屋に", "ひとり住むことになりました。", "わたくしは", "そこの", "馬を", "置く", "場所に", "板で", "小さな", "しきいを", "つけて", "一疋の", "山羊を", "飼いました。", "毎朝", "その", "乳を", "しぼって", "つめたい", "パンを", "ひたして", "たべ、", "それから", "黒い", "革のかばんへ", "すこしの", "書類や", "雑誌を", "入れ、", "靴も", "きれいに", "みがき、", "並木の", "ポプラの", "影法師を", "大股に", "わたって", "市の", "役所へ", "出て", "行くのでした。"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["あの", "イーハトーヴォの", "すきとおった", "風、", "夏でも", "底に", "冷たさを", "もつ", "青い", "そら、", "うつくしい", "森で", "飾られた", "モリーオ市、", "郊外の", "ぎらぎら", "ひかる", "草の", "波。"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["また", "そのなかで", "いっしょに", "なった", "たくさんの", "ひとたち、", "ファゼーロと", "ロザーロ、", "羊飼の", "ミーロや、", "顔の", "赤いこども", "たち、", "地主の", "テーモ、", "山猫博士の", "ボーガント・デストゥパーゴなど、", "いまこの", "暗い", "巨きな", "石の", "建物の", "なかで", "考えていると、", "みんな", "むかし風の", "なつかしい", "青い", "幻燈のように", "思われます。", "では、", "わたくしは", "いつかの", "小さな", "みだしを", "つけながら、", "しずかに", "あの", "年の", "イーハトーヴォの", "五月から", "十月までを", "書きつけましょう。"]
    }
  ]
}

tinyseg works

{
  "type": "list",
  "attributes": {},
  "value": [
    {
      "type": "character",
      "attributes": {},
      "value": ["宮沢", "賢治", "訳述"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["そのころわ", "たくし", "は", "、", "モリーオ", "市", "の", "博物", "局", "に", "勤め", "て", "居り", "まし", "た", "。"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["十", "八", "等官", "で", "し", "た", "から", "役所", "の", "なか", "で", "も", "、", "ずうっと", "下", "の", "方", "で", "し", "た", "し", "俸給", "も", "ほん", "の", "わずか", "で", "し", "た", "が", "、", "受持ち", "が", "標本", "の", "採集", "や", "整理", "で", "生れ", "付き", "好き", "な", "こと", "でし", "た", "から", "、", "わたくし", "は", "毎日", "ずいぶん", "愉快", "に", "は", "たらき", "まし", "た", "。", "殊", "に", "そのころ", "、", "モリーオ", "市", "で", "は", "競馬場", "を", "植物", "園", "に", "拵え直す", "という", "の", "で", "、", "その", "景色", "の", "いい", "まわり", "に", "アカシヤ", "を", "植え込ん", "だ", "広い", "地面", "が", "、", "切符", "売場", "や", "信号所", "の", "建物", "の", "つい", "たまま", "、", "わたくしどもの", "役所", "の", "方", "へ", "まわって", "来", "た", "もの", "です", "から", "、", "わたくし", "は", "すぐ", "宿直", "という", "名前", "で", "月賦", "で", "買っ", "た", "小さ", "な", "蓄音", "器", "と", "二", "十", "枚", "ばかり", "の", "レコード", "を", "もって", "、", "その", "番小屋", "に", "ひとり", "住む", "こと", "に", "なり", "まし", "た", "。", "わたくし", "は", "そこの", "馬", "を", "置く", "場所", "に", "板", "で", "小さ", "なしきい", "を", "つけて", "一", "疋", "の", "山羊", "を", "飼い", "まし", "た", "。", "毎朝", "その", "乳", "を", "しぼっ", "て", "つめ", "たい", "パン", "を", "ひたし", "て", "たべ", "、", "それから", "黒い革", "の", "かばん", "へ", "すこし", "の", "書類", "や", "雑誌", "を", "入れ", "、", "靴", "もきれい", "にみがき", "、", "並木", "の", "ポプラ", "の", "影法", "師", "を", "大股", "に", "わたって", "市", "の", "役所", "へ", "出", "て", "行く", "の", "でし", "た", "。"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["あ", "の", "イーハトーヴォ", "の", "すき", "と", "おっ", "た", "風", "、", "夏", "で", "も", "底", "に", "冷た", "さ", "を", "もつ青い", "そら", "、", "うつくしい", "森", "で", "飾られ", "た", "モリーオ", "市", "、", "郊外", "の", "ぎらぎら", "ひかる", "草", "の", "波", "。"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["また", "その", "なか", "で", "いっしょ", "に", "なっ", "た", "たく", "さん", "の", "ひと", "たち", "、", "ファゼーロ", "と", "ロザーロ", "、", "羊飼", "の", "ミーロ", "や", "、", "顔", "の", "赤い", "こど", "も", "たち", "、", "地主", "の", "テーモ", "、", "山猫", "博士", "の", "ボーガント", "・", "デストゥパーゴ", "など", "、", "いまこの", "暗い", "巨き", "な", "石", "の", "建物", "の", "なか", "で", "考え", "て", "いる", "と", "、", "みんなむかし", "風", "の", "なつかしい", "青い", "幻燈", "の", "よう", "に", "思わ", "れ", "ます", "。", "で", "は", "、", "わたくし", "は", "いつか", "の", "小さ", "なみ", "だし", "を", "つけ", "ながら", "、", "しずか", "に", "あ", "の", "年", "の", "イーハトーヴォ", "の", "五月", "から", "十月", "まで", "を", "書きつけましょ", "う", "。"]
    }
  ]
}

tokenize works

{
  "type": "list",
  "attributes": {},
  "value": [
    {
      "type": "character",
      "attributes": {},
      "value": ["宮沢", "賢治", "訳述"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["その", "ころ", "わたくし", "は", "、", "モリーオ", "市", "の", "博物", "局", "に", "勤め", "て", "居", "り", "ま", "した", "。"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["十八", "等", "官", "で", "した", "から", "役所", "の", "なかでも", "、", "ず", "う", "っと", "下", "の", "方", "で", "した", "し", "俸給", "も", "ほんの", "わずか", "で", "した", "が", "、", "受", "持ち", "が", "標本", "の", "採集", "や", "整理", "で", "生れ", "付き", "好き", "な", "こと", "で", "した", "から", "、", "わたくし", "は", "毎日", "ずいぶん", "愉快", "に", "はたらき", "ま", "した", "。", "殊に", "その", "ころ", "、", "モリーオ", "市", "では", "競馬", "場", "を", "植物園", "に", "拵え", "直す", "という", "ので", "、", "その", "景色", "の", "いい", "まわり", "に", "アカシヤ", "を", "植", "え", "込", "ん", "だ", "広い", "地面", "が", "、", "切符", "売場", "や", "信号", "所", "の", "建物", "の", "つい", "た", "まま", "、", "わたくし", "ども", "の", "役所", "の", "方", "へ", "ま", "わ", "って", "来", "た", "もの", "ですから", "、", "わたくし", "は", "すぐ", "宿直", "という", "名前", "で", "月賦", "で", "買", "っ", "た", "小さな", "蓄音器", "と", "二十", "枚", "ばかり", "の", "レコード", "をもって", "、", "その", "番小屋", "に", "ひとり", "住む", "ことに", "なり", "ま", "した", "。", "わたくし", "は", "そこ", "の", "馬", "を", "置く", "場所", "に", "板", "で", "小さな", "しき", "い", "を", "つけ", "て", "一疋", "の", "山羊", "を", "飼", "いま", "した", "。", "毎朝", "その", "乳", "を", "しぼ", "って", "つめたい", "パン", "を", "ひ", "た", "し", "て", "た", "べ", "、", "それから", "黒い", "革", "の", "かばん", "へ", "すこし", "の", "書類", "や", "雑誌", "を", "入れ", "、", "靴", "も", "きれい", "に", "みがき", "、", "並木", "の", "ポプラ", "の", "影法師", "を", "大", "股", "にわたって", "市", "の", "役所", "へ", "出", "て", "行く", "ので", "した", "。"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["あの", "イーハトーヴォ", "の", "すき", "と", "おっ", "た", "風", "、", "夏", "でも", "底", "に", "冷", "た", "さ", "を", "もつ", "青い", "そら", "、", "うつくしい", "森", "で", "飾", "ら", "れ", "た", "モリーオ", "市", "、", "郊外", "の", "ぎらぎら", "ひかる", "草", "の", "波", "。"]
    },
    {
      "type": "character",
      "attributes": {},
      "value": ["また", "その", "なか", "で", "いっしょ", "に", "な", "っ", "た", "たくさん", "の", "ひと", "たち", "、", "ファゼーロ", "と", "ロ", "ザー", "ロ", "、", "羊", "飼", "の", "ミー", "ロ", "や", "、", "顔", "の", "赤い", "こども", "たち", "、", "地主", "の", "テーモ", "、", "山猫", "博士", "の", "ボーガント", "・", "デストゥパーゴ", "など", "、", "いま", "この", "暗い", "巨", "き", "な", "石", "の", "建物", "の", "なか", "で", "考え", "て", "いる", "と", "、", "みんな", "むかし", "風", "の", "なつかしい", "青い", "幻燈", "の", "よう", "に", "思", "われ", "ます", "。", "では", "、", "わたくし", "は", "いつか", "の", "小さな", "み", "だし", "を", "つけ", "ながら", "、", "しずか", "に", "あの", "年", "の", "イーハトーヴォ", "の", "五月", "から", "十月", "まで", "を", "書き", "つけ", "ま", "しょう", "。"]
    }
  ]
}