Ｏｕｔｌｏｏｋを単なるメーラーと見たのではかわいそうです。これは汎用ツール（グループウェア）と見るべきでしょう。
私の所はＥｘｃｈａｎｇｅサーバなのでＯｕｔｌｏｏｋを使っていますが２００２、２００３位では「遅い」という話は聞きません。でも２００７、２０１０になると非力なパソコンでは重たくなります。
メールをメールボックスに３０００件も溜めたことはありません。最大でも１０００件で通常は４００件くらいで運用しています。それ以上は古いメールから個人用フォルダに移動します。私は個人用フォルダには１年分で１万件、それを８年分とそれ以外にデータなども保管していますが、それで動きが遅いということはありません。
Ｗｅｂ型のグループウェアでは”個人用フォルダ”が使えないのでメールボックスを大きくしますが、それが重たい原因になっているようにも思います。

お疲れ様です。

だいぶ昔ですが、BeckyでIMAPの動作を検証したことがあります。

結果は見送りました。

IMAP自体がすべてをサーバー上に置くという性質上、メールの件数が増えると毎回の読み込みにかなり時間がかかります。
Exchange＋Outlookのように、キャッシュしてくれると助かるんですけどね。

フォルダ構成を複雑にしたり、受信トレイにメールをたくさん入れていると、ちょっと実運用には厳しかったです。

ご参考まで...

私の会社ではExchangeサーバですのでIMAPになると思います。
でも特に遅いと感じたことはありません。
なぜ「POPからIMAPへの切替を検討をしています。」なのでしょうか。
メールサーバは何をお使いなのでしょうか。

そう言えばこんな事がありました。
OutlookExpressのPOP3でサーバにつないだ人が「最初の接続で止まってしまい、しかもその後でOutlookで見ようとしたらメールボックスが空になっている。」と文句を言ってきました。
当然の事なので仕組みを説明して門前払いにしました。