[SIMILAR] WITH 8699 クン WITH 8246 camelcase WITH 8085 ン分 WITH 5179 分割 WITH 4239 割方 WITH 4081 パム WITH 2335 初出 WITH 2063 ムフ WITH 1629 subject WITH 1458 スパ WITH 1328 トー WITH 1196 ーク WITH 1123 本文 WITH 1066 判定 WITH 1042 のト WITH 565 文章 WITH 558 ィル WITH 558 英語 WITH 534 ルタ WITH 415 方法 WITH 317 フィ WITH 269 が多 WITH 267 場合 WITH 223 最近 WITH 1 [ WITH 1 q3 WITH 1 ] WITH 1 タの WITH 1 近、 WITH 1 、英 WITH 1 語の WITH 1 の文 の検索結果 186 件中 1 - 10 件目 (0.141348991 秒)
最近、英語の文章をCamelCase化してSubjectや本文を書いたスパムが多くなりました。今のトークン分割方法だとまとめて一つのトークンになってしまうために初出のトークンと見なされて、スパムと判定されないことが多かったので、このような場合には、CamelとCaseにトークンを分割するようにしました。 ...
試しに以下を変えてみました。 いわゆる全角カタカナと全角英数字は2gramで分割せずに連続しているところまででひとつのトークンとするようにしました ひらがなや句読点などを含むトークンは無視するようにしました 同じスパム度・クリーン度を持つトークンをランダムに入れ替えて、判定対象となる15トークンに ...
# (スコア:6329)
日本語スパムの判定精度があまり上がってこないので（半分くらいすり抜けてしまいます）、ここ数日どういう風に判定しているのかをログを取って調べてみました。すると、 日本語は2gramで処理しているので英語に比べてトークンの取りうる範囲が広い 日本語のメールはクリーンなメールに対してスパムの学習量が少 ...
# (スコア:6051)
そういえば、ひらがなをトークン化の対象からはずしてからクリーン8000通、スパム4000通くらい学習させていますが、トークンDBのサイズは12MB程度で成長が止まったようです。おおよそありそうなトークンは出尽くしたということでしょうか。これくらいのサイズだとそこそこ実用的な速度で動くのではないかと思い ...
# (スコア:5858)
Invalid Text英数字しか処理していないと「未承諾広告※」と書いてあっても素通りしてしまうので、英数字以外の処理についても考えてみました。色々と調べてみると、形態素解析をするとデータベースのサイズは小さくなるものの精度はそれほど上がらず（解析の精度が悪いと下がることも）速度も遅くなるようです。 ...
# (スコア:5850)
なるほど。 こんな感じでどうでしょう。 Boolean @Junk(String?) 第一引数は、空白区切りのトークンのリストで、アドレスにそのトークンが含まれるとホワイトだとみなされます。 例えばホワイトリストが少ないならば、 @Junk('@example.com') @Junk('@example.com @foo.jp') のように直接書けますし、別ファイル ...
# (スコア:5218)
いまさらながらヘッダのエンコードとデコードに、隣り合うトークンがRFC2047でエンコードされているときの間の空白文字の処理がおかしいというバグがあったので直しました。使う変数名が間違っているというあまりにもお間抜けなバグでした… ...
# (スコア:5185)
アドレスを補完するときには、今までは表示名を空白でトークンに区切ったときの各トークンの先頭、アドレスの先頭、ドメイン名の先頭にマッチした場合に補完されるようにしてありました。 アドレスのほうをちょっといじって、アドレスを記号（@._-）でトークンに区切ったときの各トークンの先頭にマッチしたとき ...
# (スコア:5079)
この日からカンクンに移動しました。リゾートっぽさとしてはやはりカンクンの方が上ですね。でもホテルのサービスはいまいち。 ...
# (スコア:5079)
ベイジアンフィルタを書くとすると何が必要になるかなと考えてみました。 まずは日本語のトークンを分割するのには、MeCabが使えそうです。単語の現れる頻度を記録しておくのには何らかのデータベースが必要ですが、これはQDBMがAPIもお手軽で速そうなので良さそうです。両方ともライセンスはLGPLです。 ...
# (スコア:4963)
# (スコア:10000)