純粋なルーターにはそのような機能は無いと思うのですが。ただ、今のダイヤルアップルーターと呼ばれる物には、NAT+(ナットプラス)などと言われる機能が内蔵されていますので、複数台同時アクセスが可能になっています。
ただ、PROXYは使いたくないとのことですが、どういう理由に寄るのか分かりませんが、PROXYを使うことにより、インターネットのアプリケーションで使えなくなる物がありますが(ex.マイクロソフトネットミーティングの音声・ビデオ機能)、そちらが期待するルーターを利用しても、使えなくなる可能性が高いです。これは、NAT+の特性に寄ります。
最近よく用いられるのが、Linuxなどでルーターを作成し、NAT+の機能を持たせケーブルテレビ回線へ、家庭内LANから複数のPCを接続すると言うものです。自作のLinuxは大変なので
http://www.wildlab.com/こんな製品もあるようです。ただ、プロバイダーでLANを禁止しているところもありますので気をつけてください。
また、同じ様なことを考えていらっしゃる方が沢山いらっしゃいますから、サイトを検索されてはいかがですか?