千葉県東葛飾郡松戸町（現・松戸市）の生まれ。友禅染職人の父・宇之助、母・せんの一男二女の長男。1956年に都立上野高校を卒業後、自己表現の世界を俳優に求め、俳優座養成所へ８期生として入所。59年３月に卒業したのち、４月より文学座研究員となる。62年９月に文学座の準座員となるが、翌63年１月、劇団雲を結成した芥川比呂志と行動をともにする。映画にはこの間の60年、岡本喜八監督「大学の山賊たち」で初出演。61年の豊田四郎監督「東京夜話」では芥川に次ぐ準主役をつとめ、同年の製作者協会新人賞に輝く。63年には黒澤明監督「天国と地獄」に誘拐犯・竹内銀次郎役で出演。貧しい環境に育った冷酷で知的な犯人を、陰りのある風貌を活かして不気味に演じ、強烈な印象を残す。強い意志と行動力をもって犯罪を行ない、金持ちを激しく憎む歪んだ性格の男は、それまでの日本映画にはないキャラクターだった。64年、岩内克己監督「恐怖の時間」、堀川弘通監督「悪の紋章」に主演。後者では復讐の鬼と化した元警部補をハードボイルドタッチで熱演する。再び黒澤監督と組んだ「赤ひげ」65には、桑野みゆきの夫で悲恋の末に死んでいく車大工の左八役で出演。その後も黒澤作品には「影武者」80で武田信玄の弟・信康に扮し、キネマ旬報賞、報知映画賞の助演男優賞を受賞している。70年代に入ると主な活躍のフィールドはテレビドラマへと移り、NHK大河ドラマ『新・平家物語』の平時忠、テレビ朝日『必殺仕置人』73・77の“骨はずし”の殺し技を使う仕事人・念仏の鉄、日本テレビ『祭ばやしが聞こえる』77の萩原健一演じる主人公の先輩競輪選手などで確かな存在感を見せる。フジテレビ『岡っ引きどぶ』72、『女の河』77、『飢餓海峡』78、TBS『私という他人』73、『新・七人の刑事』75、『幸福』80、テレビ朝日『必殺からくり人・血風編』76、NHK『女殺油地獄』84、『脱兎のごとく・岡倉天心』85、日本テレビ『帰郷・妻が消えた日』84など、その後も充実した仕事ぶりが続き、特にNHK『ザ・商社』80、『価格破壊』81、『けものみち』82、『波の塔』83といった和田勉をはじめとする力量のある演出家と組んだ経済・推理ドラマには名作が多い。さらに、山田太一脚本のフジテレビ『早春スケッチブック』83での、息子に自分の生き方を伝えようとする死期を悟った元カメラマン役も、圧倒的な存在感と迫力があった。この間の76年に劇団雲を離れて、木冬社に所属。のちにフリーとなる。一方、映画では、77年の野村芳太郎監督「八つ墓村」で、猟銃と日本刀で村人を次々に惨殺していく狂気の殺人鬼・多治見要蔵を怪演。ホラータッチの演出が全編を覆うこのミステリー大作の中でも、懐中電灯を鬼の角のようにつけて殺し回る要蔵は、特に凄みのあるキャラクターになっていた。その後は、藤田敏八監督「スローなブギにしてくれ」81、「ダイアモンドは傷つかない」82、深作欣二監督「道頓堀川」82、寺山修司監督「さらば箱舟」84などコンスタントに映画出演を重ねるが、主演作として決定打となるものには恵まれなかった。しかし84年、伊丹十三の監督デビュー作「お葬式」に主演。妻の父親の葬式を取り仕切る、監督の分身とも言える俳優・井上侘助役をディテール細やかに演じて、この演技でキネマ旬報賞、ブルーリボン賞、毎日映画コンクール、日本アカデミー賞などの主演男優賞を総なめにする高い評価を受ける。ここから伊丹作品には、「タンポポ」85、「マルサの女」87と連続で主演し、95年の「静かな生活」にも、原作者である作家・大江健三郎の役で出演している。「マルサの女」で日本アカデミー賞の最優秀主演男優賞を受賞。ほかにも、三國連太郎の千利休と腹の探り合いをする豊臣秀吉を軽妙に演じた勅使河原宏監督「利休」89、政情不安になったアジアの小国から脱出しようとする日本の商社マンのひとりを演じた滝田洋二郎監督「僕らはみんな生きている」93、突然息子一家のもとへ現れて波紋を巻き起こす風来坊の父親を好演した相米慎二監督「あ、春」98など、出演数こそそれほど多くないものの、どの作品でもひねりの効いたキャラクターに扮してインパクトはじゅうぶん。特に、行定勲監督が金城一紀の直木賞小説を映画化した「GO」01では、窪塚洋介演じる主人公の在日青年の奔放で熱血漢の父親役を、人間的な幅を感じさせる演技で見事に表現し、キネマ旬報賞、報知映画賞、日本アカデミー賞、日刊スポーツ映画大賞の助演男優賞を受賞する。行定作品には2004年の大ヒット作「世界の中心で、愛をさけぶ」にも出演。02年の崔洋一監督「刑務所の中」では銃刀法違反で捕まった男の刑務所での生活を、肩の力を抜いて飄々と演じる。森田芳光監督「模倣犯」02では、犯人・中居正広に殺害される被害者の娘の父親で下町の豆腐屋の主人を好演。谷啓、青島幸男、宇津井健らと共謀して老人たちが銀行強盗を企む犬童一心監督のユーモラスなミステリー「死に花」04を経て、原田眞人監督「クライマーズ・ハイ」08では、車椅子に乗った傲岸不遜な新聞社の社主をインパクトたっぷりに演じている。この08年はさらに、滝田洋二郎監督「おくりびと」にも出演。音楽家から納棺師へと転職した本木雅弘演じる主人公に納棺の手ほどきをする会社の社長を、仕事では折り目正しく、通常は無頼な雰囲気もにじませながら演じてみせた。同作はモントリオール世界映画祭グランプリ、米国アカデミー賞の外国語映画賞を受賞したが、山崎の演技も高く評価され、日本アカデミー賞最優秀助演男優賞に輝いている。テレビドラマはほかに、NHK『夜明け前』87、『北の海峡』88、『天使のマラソンシューズ』99、『少年たち』01、テレビ朝日『管理職降格』90、『つぐみへ…・小さな命を忘れない』00、フジテレビ『新説・三億円事件』91、『阿部一族』『雲霧仁左衛門』95、日本テレビ『他人にいえない職業の男』91、『離婚』93、『九門法律相談所』93～99、『世紀末の詩』98、テレビ東京『せつない春』95、『奈良へ行くまで』98、『貯まる女』99、『小さな駅で降りる』00、『香港明星迷』02、『天下騒乱・徳川三代の陰謀』06、『本当と嘘とテキーラ』08、TBS『古都の恋歌』97、『タスクフォース』02、『クロサギ』06、『赤い指』11など多数。舞台には、『黄金の国』67、『コリオレイナス』71・86、『火のようにさみしい姉がいて』78、『冬のライオン』82、『建築家とアッシリア皇帝』83、『ピサロ』85、『リチャード三世』87、『夏の夜の夢』88、『ヘンリー四世』87、『ダミアン神父』91、『オスカー・名も言えぬ愛』94、『リア王』98などがある。00年紫綬褒章、07年旭日小綬賞を受章。近年は、山崎貴監督「SPACE BATTLESHIP ヤマト」10で宇宙戦艦ヤマトの沖田艦長を演じるなど、映画やドラマで重厚な役を振られることも多いが、彼の魅力はクセ者的な匂いを放つ一筋縄ではいかない人間像をリアルなキャラクターにしてしまう、いい意味での力技を持っているところにある。12年も土井裕泰監督「麒麟の翼」、瀧本智行監督「はやぶさ・遥かなる帰還」の２作が公開待機中で、70代を迎えた今も衰えを知らないだけに、重鎮の役に納まらず人間臭い俳優としてこれからも活躍が期待される。私生活では、女優の黛ひかると63年に結婚。二女があり、次女の直子は95年に女優デビューした。著書に『俳優のノート・壮絶な役作りの記録』があり、これは山崎が舞台でどのようにひとつの役と向き合っていったかを詳細に書き出した労作で、演技を志す者にとってはバイブルとなる一冊である。