島根県能義郡安来町（現・安来市）で生まれ、兵庫県津名郡淡路町（現・淡路市）で育つ。３歳上の兄は俳優の渡哲也。兵庫県三田市の三田学園高校を経て、早稲田大学法学部を1968年に除籍。電通PRセンター、ジャパークに勤務したのち、69年12月に東映に入社し、翌70年の石井輝男監督「殺し屋人別帳」で主役デビューする。流れ者が暴力団抗争に巻き込まれる物語だが、「網走番外地・望郷篇」の部分的なリメイク作品で、続く「監獄人別帳」70も「網走番外地」の焼き直しだった。その後も多数のプログラムピクチュアに起用されるが、中島貞夫監督「現代やくざ・血桜三兄弟」71でドライなチンピラの三男坊に扮して新鮮な演技を披露。その鮮度は同じ中島監督のATG映画「鉄砲玉の美学」73でも活かされ、組織の先兵として大阪に送られたチンピラの無様な青春と死にざまが時代の空気を浮き彫りにした。さらに深作欣二監督「仁義なき戦い」73、「仁義なき戦い・代理戦争」74に出演。前者では山守組若衆のしたたかなやくざ・新開の舎弟・有田、後者では中学校の恩師に連れられて広能組の若衆になる倉元猛を好演する。ほか、深作監督「新仁義なき戦い」74、「暴走パニック・大激突」76、中島監督「実録外伝・大阪電撃作戦」「狂った野獣」76などの実録路線で印象を残した。その間の73年、女優の大原麗子と結婚したが、78年に離婚。その78年は、松竹の野村芳太郎監督「事件」でスナックの女のヒモを、深作監督「赤穂城断絶」で吉良方の剣客を熱演し、この２作でキネマ旬報賞、ブルーリボン賞ほかの助演男優賞を受賞する。79年末公開の前田陽一監督「神様のくれた赤ん坊」と翌80年の野村監督「震える舌」の２作でもキネマ旬報賞主演男優賞を獲得し、本領を発揮。以後、蔵原惟繕・深作欣二共同監督「青春の門」81の朝鮮人炭坑夫、森谷司郎監督「海峡」81の虚無的な殺人犯、相米慎二監督「セーラー服と機関銃」81の女子高生の組長を補佐するやくざの代貸、三村晴彦監督「天城越え」83の30年に渡って殺人事件を追う刑事、蔵原監督「南極物語」83のカラフト犬係の南極越冬隊員、角川春樹監督「愛情物語」84の陶芸家など、数々の映画で多彩な役柄を味わい深く演じ、存在感を示した。主役作は少なくなるが、五社英雄監督「十手舞」86の影の殺し屋を操る町奉行、同じく五社監督の「肉体の門」88の街娼たちに同情をよせる復員兵など、脇で渋く輝いて作品の重石役となる。テレビドラマでは、兄・渡哲也と共演したNHK『あまくちからくち』71、病気で倒れた兄の代役として主演したフジテレビ『忍法かげろう斬り』72のほか、TBS『りんりんと』74、『愛と喝采と』79、『塀の中の懲りない面々』87～90、『代議士の妻たち』89、NHK『おしん』83、『真田太平記』85、『主夫物語』86、『お父さん入門』88、日本テレビ『刑事物語'85』85などで活躍。映画はその後、西河克己監督「一杯のかけそば」92の心温かい蕎麦屋の主人、工藤栄一監督「リングリングリング・涙のチャンピオンベルト」93の女子プロレスラーを育てるコーチ、和泉聖治監督「民暴の帝王」93の破滅型のやくざなどを演じたが、次第にテレビが活動の中心になっていく。98年の村橋明郎監督「しあわせになろうね」では、解散を翌日に控えたやくざの親分役で久々の映画主演。2001年の斎藤耕一監督「親分はイエス様」では極悪非道の末にキリスト教に目覚め、伝道集団を作って活動するやくざの主人公を好演し、貫録を見せる。テレビドラマはほかに、NHK『炎（ほむら）立つ』93、『バブル』01、『武蔵／MUSASHI』03、『ちりとてちん』07、日本テレビ『男はいらない』94、TBS『ボクの就職』94、『南極大陸』11、テレビ朝日『おみやさん』02～、『警視庁捜査一課９係』06～など。また、20年近くに渡って続いているテレビ朝日『タクシードライバーの推理日誌』92～のほか、テレビ東京『北アルプス山岳救助隊・紫門一鬼』01～09、TBS『世直し公務員／ザ・公証人』02～など、２時間サスペンスの主演シリーズも数多い。2017年3月14日、胆のうがんにより東京都内の病院で逝去。享年72歳。