IMAP4でサーバからのレスポンスをパースするときにバッファのコピーを結構していたので、試しにしないようにしたらどの程度パフォーマンスに影響があるかを調べてみました。結果、大して変わらず。しかし大きなメッセージをダウンロードするときにはスピードはともかくメモリ使用量が抑えられるのは良さそうです。
実は一番のボトルネックはUIへの反映なのです。例えば大量のメッセージを同期するとき（例えばアカウントを作って最初に同期するときなど）には同期ダイアログを隠すと2倍くらい速くなります*1。
フラグの同期をもっと速くしたいのですが*2、既にネットワークの速さがバウンダリになってしまっていて、限界に近いかもしれません。私の環境だと、100Mbpsで繋がっているPenIII 800MHzデュアルのサーバ上でCourier-IMAPの一つのフォルダに1万通程度のメッセージを入れた状態で、2秒弱程度かかります（ちなみにクライアントはPem4 2.6GHz/HT）。