それは、「コンピューターのotto」のサーバー専門店の事でしょうか？
それであれば、何年も前から取り引きをしています。
もしかしたら別のお店かもしれませんが、一応コンピューターのottoでの経験を基にご説明いたします。

中古サーバーを購入する事のメリット・デメリットを理解した上で購入するのであれば、お薦めします。なお、会社で購入しているのは、DELLの中古サーバーですので、他のメーカーの場合には、微妙に条件が変わる事をご容赦ください。

◎　メリット
・価格がとにかく安い。
・もともと保守が無いので、好き勝手な増設をしても、問題が無い。

×　デメリット
・（DELLの場合）メーカー保守が受けられない。
⇒ 自力で保守。そのため、出来るだけ使用した事があるメーカーや型番がお薦め。最低限、HDDの交換やRAIDの再構成程度は自力で出来ないと厳しいです。

・Driver CD などが無い場合がある
⇒　メーカーサイトからダウンロード出来ないか調べる。また、同メーカーの新しい型番のサーバーに付属しているCD-ROMに、過去の型番のDriverもセットされている場合があるので、調べる。DELLでは、最新版がダウンロード出来ますが、あまり古い型番には対応していません。２〜３世代前までは対応しています。

・ラックマウント用のレールなど、周辺機器が無い場合がある。
⇒　メーカーで単体販売しているか問い合わせする。過去に、DELLからレールだけを購入した事があります。１世代程度前であれば在庫している事が多いようです。

だいたい、こんなところです。
重要な業務用のサーバーとしては、お薦めしませんが、サブ用やテスト用のサーバーであれば十分にお薦めです。また、現在使用しているサーバーと同型機を購入して、パーツ取りに使う事もお薦めです。
「とし」さんは、サーバーに何が必要なのか？、を良く考えて条件に合うようであれば、詳細を問い合わせてみてはいかがでしょうか？

なお、電源の２重化、SCSI-HDDのRAID、などにこだわらなければ、最新のクライアントPCで Windows Server を動作させた方が、動作速度が速い場合があります。また、最新のCPUとチップデットであれば、64bit Windows Server をセットアップして、4GB以上のメモリを積んで処理させる事も出来ます。
サブ用、テスト用としては、十分な性能だと思いますので、中古サーバーと比較検討されてみてください。

最近私は、テスト用のサーバーに関して、最新クライアントPCに Virtual Server 2005R2 をセットアップした環境に、テスト用の仮想サーバーをセットアップして、いろいろなテストをしています。
テスト結果が良好であれば、そのまま最新サーバー上に Virtual Server 2005R2 をセットアップした環境に、仮想サーバーをそのまま移動出来ますので、有望であると考えています。（まだ、実現はしていませんが）

参考になったでしょうか？　他にも聞きたい事があれば、追記してください。