Първата трамвайна линия е построена в Киото през 1891 г

Железопътният транспорт играе изключително важна роля в пътническия транспорт, въпреки че продължава да отстъпва пред конкуренцията особено на автомобилния и въздушния транспорт. Първата японска железопътна линия е финансирана от британците и построена от британски инженери. Въпреки че има силна опозиция срещу изграждането й, тъй като мнозина се противопоставят на разширяването на чуждестранното икономическо и политическо влияние, развитието на модерна железопътна мрежа е ранна и далновидна цел на правителството след реставрацията Мейджи (1868 г.). Първата трамвайна линия е построена в Киото през 1891 г. и използва електричеството от първата електроцентрала в страната. През следващите години Япония разработва обширни вътрешноградски и крайградски железопътни системи; Периодът между двете световни войни е този, през който са построени много железопътни линии до предградията, за да обслужват нуждите на нарастващия брой хора със средни доходи. През 1927 г. се изгражда първото метро в централната част на Токио и с течение на времето то се разширява до една от най-мащабните системи в света. Впоследствие метрото се строи в повечето от най-големите градове на Япония. Основата на обширната пътническа железопътна мрежа на страната е групата от компании Japan Railways (JR), създадена през 1987 г., когато държавните Japan National Railways (JNR) се приватизират. Перлата на операциите на JR Group е високоскоростният Shinkansen („Нова магистрална линия“). Първите влакове заработват през 1964 г. по новата линия Tokaido, кръстена на Tōkaidō, древната магистрала между Киото и Токио, която осигурява често обслужване по електрифициран двурелсов маршрут между Токио и Осака. Тази оригинална шинкансен линия впоследствие се разширява с линии на запад до Фукуока на Кюшу и на север до Хачинохе в далечния северен Хоншу; също се изграждат разклонения до няколко града на Хоншу и се завършва част от линията, която в крайна сметка ще свърже Фукуока и Кагошима на Кюшу. За да се конкурира с нарастващия пътнически въздушен транспорт, скоростите по линиите Shinkansen се увеличават. В допълнение, JR Group провежда обширни изследвания и разработки на високоскоростни влакови операции, използващи магнитна левитация и задвижване. Има десетки други частни железопътни компании, работещи извън JR Group. Повечето от тях са дългогодишни регионални оператори на влакови услуги и членове на по-големи конгломерати, занимаващи се с различни бизнеси. Задръстванията в градския железопътен транспорт остават сериозен проблем в големите градове. Въпреки че тези влакове са известни със своята чистота, точност и безопасност, повечето са изключително претъпкани по време на пиковите часове, като някои влакове превозват много повече от броя на пътниците, за който са предназначени. Постепенно услугите се разширяват, за да се справят с голямото търсене.