sargeにアップデートしてからftpサーバに繋がるのに時間がかかるようになってしまったので、DNSの逆引きかIdent周りだろうと思って調べてみたところ、/etc/proftpd.confに、
IdentLookups off
を追加してIdentを見にいかないようにしたところすぐに繋がるようになりました。