Meはよくわかりませんが、先代のWin98SEはシャットダウン関連のトラブルがとても多かったです。
シャットダウンできない系のトラブルは原因が多岐にわたるようで、こうすれば必ずOKとは
簡単に言えません。ただ、サウンドカードやUSBのレガシーエミュレーション機能が
関係してることが多いように見えるので、それらを無効にすると改善するかもしれません。

↓ここの情報も参考になるかも。
http://homepage2.nifty.com/winfaq/

LANカ−ドを挿していれば抜いて下さい。
また、PCIになにも挿さずGAだけで試すとどうでしょうか ?
マシンの構成が不明なので的確なレスはできませんが、最小の構成で終了できれば原因が絞り込めます。

4秒押すってことはAPMが動いてるのでは。BIOSでAPMを無効にしては。Win2000と違ってMeだとACPIで動くとおもいます。

えーと、おきまりですが、とりあえず最小構成で起動、終了してみてはどうでしょうか？
pinpさんの仰っているように、私もLANカードで不具合が出た事があります。

あと、４秒押して電源を切っている、ということですが、BIOSのパワーマネジメントの
項目で、設定するところがありますので、その辺りも、見直してみてはどうでしょうか。

過去にISAのスキャナ付属SCSIカードを挿した時にシャットダウン出来ない事がありました(--;

今回の場合は関係ないと思いますが、Win98、WinMeプレインストールのメーカー製PCにて、ネットワーク設定に「AOLアダプタ」が存在する時にLANボードを挿してシャットダウン不能になる事があります。
AOLを削除したら大抵直りますが、アンインストール中にブルーバックになる場合が多いです。

みなさんありがとうございます。いろいろ試してみたいと思います。