2020年03月18日
単語単位のトークン化を使用する
少々、混乱しております。間違った認識をしていたかもしれません。
単語単位のトークン化を使用するかどうかの設定について、ちょっと試したところ、こんな感じでした。
・「使用しない」方がマッチ率は上がる
・解析時だけでなく、作業時の動作にも影響する
えっと、私の認識はまったく逆でした。「単語単位のトークン化」というのは、upLIFT に関係する新しい機能で、これを使用するとマッチ率が上がると思っていました。
さらに、この設定は解析結果を以前のバージョンと同じ文字ベースの数字にするためだけに存在しているもので、実際のエディタでの作業には影響しないと思っていました。が、実際にこの設定を変えてみると、エディタでヒットしてくるメモリが変わりました。しかも、「使用しない」方がたくさんのメモリがヒットしてきます。(作業時には影響しない、というのは SDL さんにも確認したつもりだったのですが、何か認識のずれがあったのかもしれません。)
すみません、今回はとりあえず、混乱しているというご報告だけにさせてください。改めて、きちんと確認して記事を書きたいと思います。
Tweet
単語単位のトークン化を使用するかどうかの設定について、ちょっと試したところ、こんな感じでした。
・「使用しない」方がマッチ率は上がる
・解析時だけでなく、作業時の動作にも影響する
えっと、私の認識はまったく逆でした。「単語単位のトークン化」というのは、upLIFT に関係する新しい機能で、これを使用するとマッチ率が上がると思っていました。
さらに、この設定は解析結果を以前のバージョンと同じ文字ベースの数字にするためだけに存在しているもので、実際のエディタでの作業には影響しないと思っていました。が、実際にこの設定を変えてみると、エディタでヒットしてくるメモリが変わりました。しかも、「使用しない」方がたくさんのメモリがヒットしてきます。(作業時には影響しない、というのは SDL さんにも確認したつもりだったのですが、何か認識のずれがあったのかもしれません。)
すみません、今回はとりあえず、混乱しているというご報告だけにさせてください。改めて、きちんと確認して記事を書きたいと思います。
この記事へのコメント
コメントを書く
この記事へのトラックバックURL
https://fanblogs.jp/tb/9712745
※ブログオーナーが承認したトラックバックのみ表示されます。
この記事へのトラックバック