経験はないのですが、2.4GHz帯をご利用であれば、他の無線源との干渉もあり得るかと思います。2.4GHz帯はISMバンドといって他の用途と共同利用の帯域です。身近なところでは電子レンジも2.4GHz帯です。

もし5GHz帯をご利用であれば、気象レーダの電波を回避しないといけないサブ帯域があり、そういう影響もあるのかもしれません。
http://ja.wikipedia.org/wiki/IEEE_802.11#IEEE_802.11a

他の原因もありえるとは思いますが。

これだけの状況説明ではなんとも言えませんのですが．．．

私の社内でもそうなのですが「無線ＬＡＮを使いたい」という希望は時々あります。「なぜ？」と聞くと「ノートパソコンを持ち歩きたいし、職場のレイアウトが変わるかもしれない」と言います。では実態はどうかというと往々にして置きっぱなしで移動しないということがあります。ならば有線ＬＡＮのほうがいいでしょうとおもうのですが、なぜか”無線ＬＡＮにあこがれる”ようです。
職場のレイアウト変更でも最初からＬＡＮ線の引き回しを考えるならばそれほど苦労はしませんし、それより作業動線とかを考えろのレベルです。持ち運びしないならデスクトップの方が安くて高速です。

クライアントが５台ならば有線ＬＡＮを考えられてはどうでしょうか。そのほうが安定すると思います。