契約では４月末までですが撤去に時間が掛かるため３月末には出て行ってください
って　それは契約違反でしょ　と言えると思います　どう見ても撤去に1か月はかからないですね。「撤収作業の計画書を見せろ」「４月末までは稼働してもらう」．．ツッコミ所は満載です。
撤去費用は数十万掛かります
ならばその「見積書を出せ」と言いましょう。撤去後にどうする（再利用するか廃却するか）のかでも違いますが廃却なら数万でしょう。再利用（しっかり梱包）するにしても十数万でしょう（送料、再設置料別）

というか、そんな理不尽な事を言うところは私は知りません。なにか揉め事でもあるのでしょうか？　あるいはレンタル期間の区切りが悪いとか（再リース中で３月末にリースが切れるので４月にすると１年分払わないといけないとか　でもそうならそうだといえばいいことですね）
まぁ、ビジネスライク（事務的）に淡々と要求するのがいいでしょうね。感情的になってもしょうがないですから。

こんにちは

まずは契約書の確認が必要でしょうか。
解約のタイミング、負担する費用等が記述されているか。
それを踏まえて先方の言い分が契約書の記述に則っているか
判断しなくてはいけないのかなと思います。
契約書に則っているのであれば難癖とは言えませんよね。

撤去費用については撤去の程度によりでしょうね。
電源や回線も敷設したものを次の契約者がそのまま使うのであれば
費用はそうそうかかりませんが、完全に撤去するとなると意外と
手間はかかるものです。
こちらは詳細見積を(可能であれば)出してもらって内容を確認。
そこで不明瞭なものがあれば突っ込むのが良いかと思います。