สันนิษฐานว่ามนุษย์มาอาศัยในญี่ปุ่นครั้งแรกตั้งแต่ยุคหินเก่า เมื่อประมาณ 35,000 ปีก่อนพุทธศักราช หลังจากนั้นยุคโจมงก็เริ่มต้นขึ้นเมื่อประมาณ 10,000 ปีก่อนพุทธศักราช ผู้คนดำรงชีวิตอยู่ด้วยการล่าสัตว์  มีการพัฒนาวิธีการล่าสัตว์โดยใช้คันธนูและลูกธนู ตลอดจนมีการผลิตภาชนะเครื่องปั้นดินเผาใส่อาหารและเก็บรักษาอาหาร คำว่าโจมงในภาษาญี่ปุ่นแปลว่าลายเชือกซึ่งมาจากลวดลายเชือกบนภาชนะในยุคนั้นที่ค้นพบในช่วงแรก

MiddleJomonVessel

ยุคยะโยะอิ เริ่มเมื่อประมาณ 300 ปีก่อนคริสต์ศักราช เป็นยุคที่ผู้คนเริ่มเรียนรู้วิธีการปลูกข้าว การตีโลหะ ซึ่งได้รับความรู้มาจากผู้อพยพชาวจีนแผ่นดินใหญ่ การกล่าวถึงญี่ปุ่นครั้งแรกปรากฏขึ้นในบันทึกของราชสำนักจีนสมัยราชวงศ์ฮั่น โฮ่วฮั่นชู (後漢書) ในปี 57 ก่อนคริสตกาล  ซึ่งเรียกชาวญี่ปุ่นว่า วะ (倭) ในช่วงพุทธศตวรรษที่ 8 อาณาจักรที่ทรงอำนาจมากที่สุดในญี่ปุ่นคือยะมะไทโคะกุ (邪馬台国) ปกครองโดยราชินีฮิมิโกะ ซึ่งเคยส่งคณะทูตไปยังประเทศจีนผ่านทางเกาหลีด้วย