1948년 5월 「경향신문」 편집국장을 지낸 언론인이자 소설가 김광주의 아들로 서울에서 태어났다. 고려대 정치외교학과에 입학해 영문과로 2년 만에 전과했으나 군 복무를 마친 뒤 중퇴했다.1973년부터 1989년 말까지 「한국일보」에서 기자로 일했다. 이후 「시사저널」 사회부장 편집국장 심의위원 이사 「국민일보」 부국장 및 출판국장 「한국일보」 편집위원 「한겨레신문」 사회부 부국장으로 재직했다.

「한국일보」에 재직할 당시 1986년 5월부터 1989년 5월까지 3년간 박래부 기자와 함께 〈문학기행-명작의 무대〉를 연재했으며 이때 연재한 기사를 묶어 『김훈-박래부의 문학기행』을 출간했다. 1994년 『빗살무늬토기의 추억』을 「문학동네」에 발표하며 47세의 나이에 소설가로 데뷔했다. 2004년부터는 전업작가로 활동하고 있다. 2001년 『칼의 노래』를 출간한 뒤 본격적으로 이름을 알렸다. 같은 해 제32회 동인문학상을 수상한 이 작품으로 그는 평단과 독자에게서 호응을 얻으며 동시대를 대표하는 작가 중 한 명으로 자리매김했다. 2004년에는 「화장」으로 이상문학상을 수상했고 2005년에는 「언니의 폐경」으로 황순원문학상을 2007년에는 장편소설 『남한산성』으로 대산문학상을 받았다. 시인이자 문학평론가인 남진우는 그를 일러 ‘문장가라는 예스러운 명칭이 어색하지 않은 우리 세대의 몇 안 되는 글쟁이 중의 하나’라고 평하기도 했다.

한국어의 아름다움을 살린 특유의 유려하면서도 간결한 문체의 산문으로도 크게 사랑받는 작가다. 전국의 산천을 자전거로 여행하며 쓴 기행을 묶은 『자전거여행』 간명한 필치로 일상의 애환을 그린 『라면을 끓이며』 등이 그의 대표적인 산문집이다. 그 외에 장편소설 『하얼빈』 『개』 『달 너머로 달리는 말』 『남한산성』 『공터에서』 『현의 노래』 『강산무진』 『흑산』 『공무도하』 소설집 『저만치 혼자서』 산문집 『연필로 쓰기』 『풍경과 상처』 등을 펴냈다.