島根県能義郡安来町（現・安来市）で生まれ、兵庫県津名郡淡路町（現・淡路市）で育つ。本名・渡瀬道彦。３歳下の弟は俳優の渡瀬恒彦。青山学院大学経済学部在学中の1964年に、日活が浅丘ルリ子映画出演100本記念として「執炎」の相手役を募集していたところ、大学で所属していた空手部の仲間が本人に無断で応募。面接試験の日に遊び気分で向かった日活撮影所の食堂でスカウトされて、公募審査とは関係なく日活入社が決定した。翌65年、小杉勇監督「あばれ騎士道」で俳優デビュー。２作目の「青春の裁き」で早くも主演をつとめ、この年だけで計７本に出演して製作者協会新人賞を受賞する。66年、鈴木清順監督のトリッキーな映像と色彩感覚が横溢した異色作「東京流れ者」で組織に裏切られる青年やくざを好演し、自身が歌った同名曲もヒット。蔵原惟繕監督「愛と死の記録」で原爆症で死ぬ工員を演じたのを例外に、中平康監督「赤いグラス」、斎藤武市監督「骨まで愛して」「あなたの命」など、いずれもヒット歌謡曲がらみの粗っぽい作品が続いた。その後は、日活の“第二の石原裕次郎誕生”の意図のもと、「嵐を呼ぶ男」66、「陽のあたる坂道」67など裕次郎のヒット作のリメイクに次々と抜擢。舛田利雄監督が「赤い波止場」を自らリメイクした「紅の流れ星」68は、渡にとっても日活アクション映画史にとっても異色の秀作となった。陽気ですっとぼけた殺し屋がヒロインの浅丘ルリ子を軽薄な饒舌ぶりで口説きまくるシーンに、新生・渡のイメージが観客に焼きつけられる。70年前後は日活のみならず日本映画の凋落が著しくなるが、そんな中でも渡は孤軍奮闘し、舛田監督「『無頼』より・大幹部」68に始まる「無頼」シリーズが好評となって、「無頼・殺（バラ）せ」69まで全６作が作られる。“人斬り五郎”の異名をとる一匹狼の若いやくざ・藤川五郎を通して、社会から拒否され疎外された者の焦燥感、自虐の怒り、自己否定の念を体現。黒ドスを手にドブ川で血まみれになって死闘を繰り広げるクライマックスには、激情が殺伐さの魅惑に結晶して、新しい活劇の誕生が告げられた。これらは日活ニュー・アクション路線の先駆となり、長谷部安春監督「野獣を消せ」69を経て、澤田幸弘監督「斬り込み」69、「関東幹部会」71、藤田敏八監督「新宿アウトロー・ぶっ飛ばせ」70、小沢啓一監督「関東流れ者」「関東破門状」71へと続いていく。義理と人情の相克を描いていた東映任俠映画、あるいは日活でも裕次郎、小林旭、高橋英樹作品とは一線を画し、渡は敵にも自分にも殺意を向ける反任俠的とでもいうべきやくざ像を演じて、殺伐とした現代感覚をスクリーンに叩きつけた。日活がロマンポルノへ路線変更した71年に、日活を退社。同年のNHK『あまくちからくち』では弟・渡瀬恒彦と役の上でも兄弟役を演じて話題を呼ぶ。同年10月以降は尊敬する石原裕次郎主宰の石原プロモーションに所属し、松竹に活動の場を移して、「さらば掟」71、「追いつめる」「剣と花」72と舛田監督作品に連続主演する。さらに、加藤泰監督の大作「人生劇場／青春・愛欲・残俠篇」72、「花と龍／青雲篇・愛憎篇・怒濤篇」73に堂々と主演して、その存在を強くアピール。日活のみならず日本映画を支えるスターであることを証明した。その後は東宝で、小谷承靖監督「ゴキブリ刑事」「ザ・ゴキブリ」73という暴力刑事による非情なアクション映画を撮り、改めてアクション俳優であることを世に知らしめる。加藤監督「日本俠花伝」73では、真木洋子演じる流転のヒロインの激情を受け止めて翻弄される無頼の男を存在感たっぷりに演じた。74年、NHK大河ドラマ『勝海舟』に主演するが、９話までを撮り終えたところで胸部疾患に倒れ、無念の降板。松方弘樹が代役をつとめ、渡は約１年間の療養生活に入る。療養後の復帰第１作として選んだのが、深作欣二監督「仁義の墓場」75。仁義も掟も踏みにじって親方にも兄弟分にも反逆し、飢えた狼のごとく荒廃無残な生を紡いで自死に至る実在のやくざ・石川力男を、戦慄的なまでのリアルさで演じきる。そこには戦後日本の奈落にうごめく若者の飢餓の心が表現されており、その意味で「無頼」シリーズに連なる青春映画の極北を指した。その後、再び病に倒れて療養生活に入るが、またも深作監督「やくざの墓場・くちなしの花」76で暴力団の世界に深入りするはみだし刑事を演じて再起。毎日映画コンクール男優演技賞、ブルーリボン賞主演男優賞を受賞する。その後はテレビドラマが主な活躍の場となり、日本テレビ『大都会』75～78、テレビ朝日『浮浪雲』78、『西部警察』79～83、『私鉄沿線97分署』84～86、『ゴリラ・警視庁捜査第８班』89～90、『代表取締役刑事』90などの石原プロ制作のドラマで存在感を発揮。87年の裕次郎没後は、石原プロの社長もつとめる。その一方で、映画は86年の倉本聰監督「時計／Adieu l'Hiver」にヒロインの父親役で特別出演した以外、長く途絶えることになった。91年、直腸癌の手術をするが無事に恢復。以後も、テレビ朝日『生命燃ゆ』『愛しの刑事』92、『川の見える病院から』97、『新選組血風録』98、日本テレビ『麻酔』94、NHK『夏の一族』95、『風になれ鳥になれ』98、『怒る男・わらう女』99などに出演を重ねる。96年のNHK大河ドラマ『秀吉』での鮮烈な織田信長が注目を集めたあと、渡にとっては初舞台となる大阪歌舞伎座『織田信長』96でドラマと同じ信長役を、病気の影響をまったく感じさせずに熱演してファンを安心させた。この96年は、大森一樹監督「わが心の銀河鉄道・宮沢賢治物語」の主人公の父親役でスクリーンにも復帰し、キネマ旬報賞、ブルーリボン賞の助演男優賞を獲得している。その後も、大河原孝夫監督「誘拐」97では３億円入りの袋を担いで都内を走り回る刑事を、澤井信一郎監督「時雨の記」98では29年ぶりに吉永小百合と共演して建築家を、平山秀幸監督「レディ・ジョーカー」04では脅迫犯グループのリーダーを、佐藤純彌監督「男たちの大和／YAMATO」では第二艦隊司令長官・伊藤整一中将をそれぞれ演じて、完全復帰を印象づけた。テレビドラマはほかに、テレビ朝日『反乱のボヤージュ』01、『弟』04、『祇園囃子』『熟年離婚』05、『夫婦』『家族・妻の不在・夫の存在』06、『マグロ』『おいしいごはん・鎌倉・春日井米店』07、『告知せず』08、『結婚』09、フジテレビ『マルサ!!・東京国税局査察部』03、日本テレビ『華麗なるスパイ』09、NHK『新マチベン／オトナの出番』07、『坂の上の雲』09～11、TBS『ランナウェイ・愛する君のために』11など多数。また、早くから“歌う銀幕スター”としても活躍していて、『くちなしの花』『あじさいの雨』『水割り』などのヒット曲があり、NHK『紅白歌合戦』には74年と93年に出演している。2005年紫綬褒章を受章。11年３月、24年余に渡ってつとめた石原プロモーション社長の座を裕次郎の未亡人・まき子夫人に返上して、一俳優として活動すると宣言した。72年、石川俊子と結婚、一男がある。2020年（令和2年）8月10日午後6時30分、入院先の東京都内の病院で肺炎のため逝去。享年78歳。