Windows98SEだと下記の症状が発生するのですが、もしかして無印Windows98でもこの問題が付きまとってるのでしょうか。こちらの症状に酷似している気がしますが・・・。
Windows 98 SE で USB デバイスが動作しないことがある
http://www.microsoft.com/JAPAN/support/kb/articles/JP240/0/75.HTMこちらに示されている修正モジュールはページにもあるとおりWindows98SE専用です。
これを適用したい場合にはWindows98SecondEditionにアップグレードする必要があります。
あと気になったのが、VIAのUSB Filter Driverは入れられてますか?
これもこちらが参考になるかと思います。
PCの部屋 by knos (軟弱派 峠道紀行 別館)
http://www.microsoft.com/JAPAN/support/kb/articles/JP240/0/75.HTM#個人的にはJoy.cplに原因があるとは思えません。それ以前のUSBドライバ周りの問題だと感じます。VIAはこういった罠が多いんで気をつけたほうがよいかと。