参考資料
http://216.239.39.104/search?q=cache:2wDo74Hr0ewJ:www.users.gr.jp/ml/archive/com/3043.asp+html%E3%81%AE%E3%82%B5%E3%83%A0%E3%83%8D%E3%82%A4%E3%83%AB%E8%A1%A8%E7%A4%BA&hl=en&lr=lang_ja&ie=UTF-8

XPではhtmlのサムネイル表示を担当するのは
C:WINDOWSSystem32shimgvw.dll

具体的な形式は
HKEY_CLASSES_ROOT.mpgShellEx
を参考に

HKEY_CLASSES_ROOT.htm
HKEY_CLASSES_ROOT.html
新規キー　ShellEx
新規キー　{BB2E617C-0920-11d1-9A0B-00C04FC2D6C1}
つまり
HKEY_CLASSES_ROOT.htmShellEx{BB2E617C-0920-11d1-9A0B-00C04FC2D6C1}
を作る
データ　{EAB841A0-9550-11cf-8C16-00805F1408F3}
htmlとhtmがエクスプローラでサムネイル表示可能

注意
http://216.239.39.104/search?q=cache:2wDo74Hr0ewJ:www.users.gr.jp/ml/archive/com/3043.asp+html%E3%81%AE%E3%82%B5%E3%83%A0%E3%83%8D%E3%82%A4%E3%83%AB%E8%A1%A8%E7%A4%BA&hl=en&lr=lang_ja&ie=UTF-8
　Microsoftはセキュリティの関係でこの機能をOFFにしたと言っている。
　つまり自らセキュリティに穴を開ける行為とも言える。
　何がおきても自己責任で。