[SIMILAR] WITH 8699 クン WITH 6955 ム度 WITH 6466 タ再 WITH 5572 角カ WITH 5357 全角 WITH 5293 定対 WITH 5112 角英 WITH 4777 句読 WITH 4405 読点 WITH 4175 ン度 WITH 3615 度・ WITH 3564 英数 WITH 2720 パム WITH 2063 ムフ WITH 1726 分割 WITH 1328 トー WITH 1326 適切 WITH 1263 タベ WITH 1196 ーク WITH 1164 数字 WITH 1066 判定 WITH 994 カナ WITH 982 ・ク WITH 972 スパ WITH 942 タカ WITH 869 無視 WITH 764 カタ WITH 764 ダム WITH 719 連続 WITH 660 対象 WITH 558 ィル WITH 534 ルタ の検索結果 122 件中 1 - 10 件目 (0.109647135 秒)
試しに以下を変えてみました。 いわゆる全角カタカナと全角英数字は2gramで分割せずに連続しているところまででひとつのトークンとするようにしました ひらがなや句読点などを含むトークンは無視するようにしました 同じスパム度・クリーン度を持つトークンをランダムに入れ替えて、判定対象となる15トークンに ...
日本語スパムの判定精度があまり上がってこないので（半分くらいすり抜けてしまいます）、ここ数日どういう風に判定しているのかをログを取って調べてみました。すると、 日本語は2gramで処理しているので英語に比べてトークンの取りうる範囲が広い 日本語のメールはクリーンなメールに対してスパムの学習量が少 ...
# (スコア:7079)
そういえば、ひらがなをトークン化の対象からはずしてからクリーン8000通、スパム4000通くらい学習させていますが、トークンDBのサイズは12MB程度で成長が止まったようです。おおよそありそうなトークンは出尽くしたということでしょうか。これくらいのサイズだとそこそこ実用的な速度で動くのではないかと思い ...
# (スコア:4724)
最近、英語の文章をCamelCase化してSubjectや本文を書いたスパムが多くなりました。今のトークン分割方法だとまとめて一つのトークンになってしまうために初出のトークンと見なされて、スパムと判定されないことが多かったので、このような場合には、CamelとCaseにトークンを分割するようにしました。 ...
# (スコア:4676)
なるほど。 こんな感じでどうでしょう。 Boolean @Junk(String?) 第一引数は、空白区切りのトークンのリストで、アドレスにそのトークンが含まれるとホワイトだとみなされます。 例えばホワイトリストが少ないならば、 @Junk('@example.com') @Junk('@example.com @foo.jp') のように直接書けますし、別ファイル ...
# (スコア:4462)
いまさらながらヘッダのエンコードとデコードに、隣り合うトークンがRFC2047でエンコードされているときの間の空白文字の処理がおかしいというバグがあったので直しました。使う変数名が間違っているというあまりにもお間抜けなバグでした… ...
# (スコア:4462)
アドレスを補完するときには、今までは表示名を空白でトークンに区切ったときの各トークンの先頭、アドレスの先頭、ドメイン名の先頭にマッチした場合に補完されるようにしてありました。 アドレスのほうをちょっといじって、アドレスを記号（@._-）でトークンに区切ったときの各トークンの先頭にマッチしたとき ...
# (スコア:4370)
この日からカンクンに移動しました。リゾートっぽさとしてはやはりカンクンの方が上ですね。でもホテルのサービスはいまいち。 ...
# (スコア:4370)
Invalid Text英数字しか処理していないと「未承諾広告※」と書いてあっても素通りしてしまうので、英数字以外の処理についても考えてみました。色々と調べてみると、形態素解析をするとデータベースのサイズは小さくなるものの精度はそれほど上がらず（解析の精度が悪いと下がることも）速度も遅くなるようです。 ...
# (スコア:3632)
フィルタについて。 フィルタはTo, From, Subjectと本文に指定した文字列がマッチするかどうかしか指定できません。また、マッチ自体も完全マッチでも正規表現でもなく、GoogleでWeb検索をしたときのように適当にトークンに分解されて検索されるようです。 Gmailを気に入るかどうかはこの辺の感覚が自分に合うか ...
# (スコア:3619)
# (スコア:10000)