一千多年前，大量的日本来华留学生即遣唐使、遣隋使，将先进的中华文明，包括汉语及汉字带到了日本。日本从此正式开始了使用文字记载语言的历史。最初日语的每一个音，都是由一个汉字表达。公元九世纪，日本人在汉字基础上创造了假名。假名又分为平假名和片假名。具体做法是：将中文的草书衍生成平假名，把中文楷书的偏旁改成片假名。例如平假名的『あ』乃由汉字的『安』简化而来的；而片假名的『ア』则是汉字『阿』的一部分。
早期，日本正式的文章都是汉文，而片假名则是佛教僧侣们读经典时用来做标音的，平假名则是女性所用的文字。目前日文中常用的汉字约有二千字左右，片假名大多用来表示外来语，其余的多用平假名。现代日语中，假名共有71个，最基本的有46个，排列成“五十音图”（字母表）。
日本古代有语言而无文字。虽然现代比较语言学者，以日本与从音韵、语法及语汇三者看起来，系属巫拉尔、阿尔泰（Ural-Altai）语系统，质言之，它本来是和蒙古语、通古斯语、土耳其语及朝鲜语视同依系统的。但事实上，日本的语言问题，现在尚未获得完全解决。日儒新渡户盗造曾云：「在语言学上看来，日本语是伶仃的孤儿，和它的左右前后各方面的言语没有什麼关系的。」事实上，日本人自有历史开始，为了要增加语言的丰富，曾取用了许多中国的字音，此外如朝鲜及西欧的荷兰、葡萄牙、英国等语言亦对於日本的语言多少做过些贡献。
日本在汉字未传入之前本无文字，此一观点早为公元九世纪时的一部份日本学者所主张。虽然也有人主张「固有文字存在说」－即所谓「神代文字说」，如德川时代后期的国学者平田笃胤（1776－1843）从国粹主义立场著有「神字日文传」一书，力陈日本早在神代便有文字。惟事实上，这是留传於对马阿比留家者，为朝鲜谚文的窜改，是故所谓固有文字说不足凭信，而日本古代，现在已为一般学者所承认。宁惟是，多数日本学者咸主张日本之有文字胥在汉人渡日之后。
关於汉字何时传入日本，当在正史记载汉字之传入日之前。史籍之记载汉字汉学之正式传入日本者，当为应神天皇之世（约当公元三世纪末叶，即二四八年王仁从百济渡日，献论语十卷及千字文一卷，是为汉字汉学传入日本的开始），自汉字输入日本后，历经岁月，迨至八世纪中叶，日人始用汉字楷书的偏字，造成片假名，又用汉字草书的偏旁造为平假名，以为注汉字音，及标注日本语音之用。当时称汉字为男文字，而称假名为女文字。日本学者有谓吉备真备作片假名，弘法大师空海作平假名，皆不足凭信，充其量或由他们两人集其大成而已。
汉字传入日本后，不仅成为公家用以记录史实，且为一般学者用以著作写书，而成为当时日本唯一的正式文字。不过汉字在日本的读法有训读及音读两种。前者即日本原来的语言，而后者则系中国传入之音。然音读又因传入的时地之异而复分为汉音、唐音、吴音。汉字传入日本后，不仅促进了日本古代文化的进步，同时亦因而促成了所谓片、平假名的日本文字的出现。
虽然自公元九世纪初叶以还，因日本所谓的「国风文化」的确立，绝大多数书籍都采用日本文字（假名）记述，但汉字降至明治初年，一直为公家官方用来记事的正式文字。日本自海禁开放与欧美交通往来后，日本语言中复混有许多外来语（日人称为「舶来语」），早在公元1866年则有前岛密（日本邮政制度创始人），其人发表所谓「废止汉字意见书」，倡导全部用假名而不用汉字，其后彼自由民权论大师福泽谕吉亦在1873年发表「文字之教」一文，主张不用生僻的汉字把常用汉字限制为两三千字，为政府当局所采用。
迨及昭和五年（1930年）前后时，富有急进的教育家高唱禁用汉文，废止汉字」，甚至在第二次世界大战后，更有主张废止汉字，改用罗马字」，如盟军总司令部（CHQ）所聘请的教育使节团亦曾建议日本政府限制汉字之使用，俾能使有更多时间以学习其他分野的事物，以提升教育效果。日本政府接受此建议，规定在国民义务教育期间的教育汉字为八百五十字。甚至於如安本美典在1967年年初提出汉字在「二百三十年后消灭论」，凡此种种皆为崇洋心理作祟的结果。
自前岛密逾1866年提倡废止汉字到今年将近130年，百馀年来汉字仍未在日文中废掉，后来鉴於850字的教育汉字无法用以表达日常的文章，日本政府遂发表「常用汉字表」，规常用汉字1850字，但日本的国语审议会后来又建议改为常用汉字1945字，由此可见汉字目前在日本还有其根深蒂固的力量。
