På baggrund af arkæologiske fund er det blevet postuleret hominid aktivitet i Japan kan datere så tidligt som 200.000 F.Kr. da øerne var forbundet med det asiatiske fastland. Selvom nogle lærde tvivler på denne tidlige dato for beboelse, er de fleste enige om, at ca. 40.000 B.C. glaciation havde forbundet øerne med fastlandet igen.
Befolkning af det japanske land
Baseret på arkæologiske beviser er de også enige om, at mellem 35.000 og 30.000 B.C. Homo sapiens havde migreret til øerne fra det østlige og sydøstlige Asien og havde veletablerede mønstre af jagt og indsamling og stenværktøjsfremstilling. Stenværktøjer, beboelsessteder og menneskelige fossiler fra denne periode er fundet over alle de japanske øer.
Jomon perioden
Mere stabile levemønstre gav anledning til omkring 10.000 B.C. til neolitiske eller som nogle lærde hævder, mesolitiske kultur. Eventuelt fjerne forfædre til det Ainu aboriginiske folk i det moderne Japan, medlemmer af den heterogene Jomon-kultur (ca. 10.000-300 f.Kr.) efterlod den klareste arkæologiske fortegnelse. Ved 3.000 f.Kr. lavede Jomon-folket lerefigurer og kar, dekoreret med mønstre, der blev fremstillet ved at imponere våd ler med flettet eller ubegrænset ledning og pinde (Jomon betyder 'mønstre af flettet ledning') med voksende raffinement. Disse mennesker brugte også fliseværktøjer, fælder og buer og var jægere, samlere og dygtige kyst- og dybhavsfiskere. De praktiserede en rudimentær form for landbrug og boede i huler og senere i grupper af begge midlertidige lavtliggende boliger eller huse over jorden, hvilket efterlader rige køkkenmøbler til moderne antropologisk undersøgelse.
I den sene Jomon periode var der sket et dramatisk skift i henhold til arkæologiske undersøgelser. Begyndende dyrkning havde udviklet sig til sofistikeret rismarkedyrkning og regeringskontrol. Mange andre elementer i japansk kultur kan også dateres fra denne periode og afspejler en blandet migration fra det nordasiatiske kontinent og de sydlige Stillehavsområder. Blandt disse elementer er Shinto-mytologi, ægteskabsvaner, arkitektoniske stilarter og teknologisk udvikling, såsom lakering, tekstiler, metalbearbejdning og glasfremstilling.
Yayoi-perioden
Den næste kulturelle periode, Yayoi (opkaldt efter det afsnit i Tokyo, hvor arkæologiske undersøgelser afslørede sine spor) blomstrede mellem ca. 300 f.Kr. og A.D. 250 fra det sydlige Kyushu til det nordlige Honshu. De tidligste af disse mennesker, som menes at have migreret fra Korea til det nordlige Kyushu og blandet med Jomon, brugte også fliseværktøjer. Selvom keramikken i Yayoi var mere teknologisk avanceret, var den mere enkelt dekoreret end Jomon ware.
Yayoi lavede bronze ceremonielle ikke-funktionelle klokker, spejle og våben, og i det første århundrede A.D., jern landbrugsredskaber og våben. Efterhånden som befolkningen steg, og samfundet blev mere komplekst, vævede de stof, boede i permanente landbrugsbyer, konstrueret bygninger af træ og sten, akkumuleret formue gennem ejendom af jord og oplagring af korn og udviklet forskellige sociale klasser. Deres overrislede kultur med vådris var den samme som i det centrale og sydlige Kina, hvilket krævede tunge input menneskelig arbejdskraft, hvilket førte til udvikling og eventuel vækst af et meget stillesiddende, agrarisk samfund.
I modsætning til Kina, som var nødt til at gennemføre massive offentlige arbejder og vandkontrolprojekter, der førte til en stærkt centraliseret regering, havde Japan rigeligt vand. I Japan var den lokale politiske og sociale udvikling relativt vigtigere end den centrale myndigheds aktiviteter og et lagdelt samfund.
De tidligste skrevne poster om Japan er fra kinesiske kilder fra denne periode. Wa (den japanske udtale af et tidligt kinesisk navn for Japan) blev først nævnt i A.D. 57. Tidlige kinesiske historikere beskrev Wa som et land med hundreder af spredte stammesamfund, ikke samlet land med en 700-årig tradition som fastlagt i Nihongi, som lægger grundlaget for Japan på 660 B.C.
Kinesiske kilder fra det tredje århundrede rapporterede, at folkene i Wa levede på rå grøntsager, ris og fisk serveret på bambus og træbakker, havde forhold mellem vasal-mester, indsamlet skatter, havde provinsielle kornmasser og markeder, klappede hænderne i tilbedelse (noget, der stadig gøres i Shinto-helligdomme), havde voldelige successionskampe, byggede jordskæbne gravhøje og observerede sorg. Himiko, en kvindelig hersker i en tidlig politisk føderation kendt som Yamatai, blomstrede i løbet af det tredje århundrede. Mens Himiko regerede som en åndelig leder, udførte hendes yngre bror statsspørgsmål, der omfattede diplomatiske forbindelser med retten i det kinesiske Wei-dynasti (A.D. 220 til 65).