เนื้อร้องของเพลงคิมิงะโยะนั้น เดิมเป็นบทกลอนยุคเฮอังที่ไม่ทราบว่าผู้ใดแต่งไว้ ปรากฏอยู่ในหนังสือโคะคินวะกะชู หรือ "ประชุมบทร้อยกรองแบบวะกะ" ในความเป็นจริงอาจกล่าวได้ว่า ผู้แต่งกวีบทนี้อาจเป็นที่รู้จักกันทั่วไปในเวลานั้น แต่ชื่อของเขาไม่ได้รับการบรรจุไว้ในหนังสือดังกล่าว เพราะกวีผู้นั้นอาจมีฐานะทางสังคมที่ตำก็ได้ เพราะกวีในยุคนั้นมักจะไม่ใช่ชนชั้นสามัญชน บทกวีคิมิงะโยะนี้ปรากฏอยู่ในประชุมบทร้อยกรองหลายฉบับ และถูกใช้ในยุคต่อๆ มาในลักษณะของเพลงเฉลิมแลองของผู้คนในสังคมชั้นสูง ทั้งนี้ ตอนต้นของบทกวีดังกล่าวมีเนื้อหาต่างจากที่ใช้เป็นเพลงชาติในปัจจุบัน โดยฉบับเดิมจะขึ้นต้นว่า "วะ งะ คิมิ วะ" ("Wa ga Kimi wa", "ท่านผู้นายแห่งข้า") เนื้อร้องของเพลงนี้ต่อมาได้เปลี่ยนแปลงไปในช่วงยุคคามาคุระ (ค.ศ. 1185 - 1333) เป็น "คิมิ งะ โยะ" (แปลตามตัวคือ "ภพแห่งท่าน") ดังที่รู้จักกันทุกวันนี้
ในปี ค.ศ. 1869 ในช่วงต้นของยุคเมจิ จอห์น วิลเลียม เฟนตัน (John William Fenton) ผู้นำวงโยธวาทิตชาวไอริช ซึ่งได้เดินทางมาเยือนญี่ปุ่น ได้ตระหนักว่าประเทศญี่ปุ่นยังไม่มีเพลงชาติของตนเอง จึงได้แนะนำให้อิวะโอะ โอยะมะ ข้าราชการชาวญี่ปุ่นแห่งแคว้นซัตสึมะ สร้างเพลงชาติขึ้น ซึ่งโอยะมะะก็เห็นด้วยและได้เลือกเอาบทกวีคิมิงะโยะมาใช้เป็นบทร้องของเพลงชาติ เป็นไปได้ว่าที่มีการเลือกเอาบทกวีคิมิงะโยะมาใช้ เพราะเนื้อหาของเพลงคล้ายคลึงกับเพลงก็อดเซฟเดอะควีนของอังกฤษ โดยได้รับอิทธิพลทางความคิดจากเฟนตัน หลังจากที่ได้เนื้อร้องแล้ว โอยะมะจึงร้องขอให้เฟนตันช่วยประพันธ์ทำนองเพลง เขาจึงใช้เวลาในการแต่งทำนองเพลง 3 สัปดาห์ และใช้เวลาในการซ้อมนักดนตรีในเวลาไม่กี่วัน ก่อนจะบรรเลงเพลงนี้ต่อเบื้องพระพักตร์ของพระจักรพรรดิในปี ค.ศ. 1870 ทำนองเพลงดังกล่าวนี้คือทำนองฉบับแรกของเพลงคิมิงะโยะ ซึ่งต่อมาได้เลิกใช้ด้วยเหตุผลว่า ทำนองนี้ "ยังขาดความเคร่งขรึม"อย่างไรก็ตาม เพลงคิมิงะโยะทำนองนี้ปัจจุบันยังคงมีการบรรเลงปีละครั้ง ที่ศาลเจ้าเมียวโคจิ เมืองโยโกฮามา ซึ่งเป็นศาลเจ้าที่สร้างขึ้นเพื่ออุทิศแต่เฟนตัน ผู้ได้รับหน้าที่เป็นผู้นำวงโยธาวาทิตของญี่ปุ่นประจำเมืองนี้
ในปี ค.ศ. 1880 สำนักพระราชวังของญี่ปุ่นได้เลือกทำนองเพลงคิมิงะโยะใหม่ ซึ่งประพันธ์โดย โยะชิอิสะ โอกุ และอะกิโมะริ ฮะยะชิ ผู้ประพันธ์เพลงอีกคนหนึ่งที่มักจะถูกกล่าวถึงรวมอยู่ในกลุ่มผู้แต่งทำนองนี้ด้วย คือ ฮิโระโมะริ ฮะยะชิ ซึ่งเป็นผู้ดูแลงานของทั้งสองคน และยังเป็นพ่อของ อะกิโมะริ ฮะยะชิ อีกด้วย ทั้งนี้ ตัวอะกิโมะริเองก็เป็นลูกศิษย์คนหนึ่งของเฟนตันด้วย แม้ทำนองใหม่นี้จะมีพื้นฐานจากทำนองเพลงของราชสำนักโบราณก็ตาม แต่ก็มีการผสานเข้ากับดนตรีประเภทเพลงสรรเสริญ (hymn) ของชาติตะวันตก และใช้บางส่วนที่เฟนตันได้เรียบเรียงไว้แต่เดิมด้วย โดยฟรานซ์ เอ็คเคิร์ต (Franz Eckert) นักดนตรีชาวเยอรมัน ได้ปรับปรุงทำนองเพลงนี้ให้มีความกลมกลืนแบบตะวันตกมากยิ่งขึ้น นับได้ว่าเป็นการสร้างเพลงคิมิงะโยะฉบับที่ 2 และเป็นฉบับที่ใช้ในปัจจุบัน และนับตั้งแต่ปี ค.ศ. 1893 เป็นต้นมา เพลงคิมิงะโยะได้ถูกบรรจุให้ใช้ในพิธีการของโรงเรียนรัฐบาลด้วยการผลักดันของทางกระทรวงศึกษาธิการญี่ปุ่น เพลงนี้บรรเลงด้วยบันไดเสียง ซี เมเจอร์
ในปี ค.ศ. 1869 ในช่วงต้นของยุคเมจิ จอห์น วิลเลียม เฟนตัน (John William Fenton) ผู้นำวงโยธวาทิตชาวไอริช ซึ่งได้เดินทางมาเยือนญี่ปุ่น ได้ตระหนักว่าประเทศญี่ปุ่นยังไม่มีเพลงชาติของตนเอง จึงได้แนะนำให้อิวะโอะ โอยะมะ ข้าราชการชาวญี่ปุ่นแห่งแคว้นซัตสึมะ สร้างเพลงชาติขึ้น ซึ่งโอยะมะะก็เห็นด้วยและได้เลือกเอาบทกวีคิมิงะโยะมาใช้เป็นบทร้องของเพลงชาติ เป็นไปได้ว่าที่มีการเลือกเอาบทกวีคิมิงะโยะมาใช้ เพราะเนื้อหาของเพลงคล้ายคลึงกับเพลงก็อดเซฟเดอะควีนของอังกฤษ โดยได้รับอิทธิพลทางความคิดจากเฟนตัน หลังจากที่ได้เนื้อร้องแล้ว โอยะมะจึงร้องขอให้เฟนตันช่วยประพันธ์ทำนองเพลง เขาจึงใช้เวลาในการแต่งทำนองเพลง 3 สัปดาห์ และใช้เวลาในการซ้อมนักดนตรีในเวลาไม่กี่วัน ก่อนจะบรรเลงเพลงนี้ต่อเบื้องพระพักตร์ของพระจักรพรรดิในปี ค.ศ. 1870 ทำนองเพลงดังกล่าวนี้คือทำนองฉบับแรกของเพลงคิมิงะโยะ ซึ่งต่อมาได้เลิกใช้ด้วยเหตุผลว่า ทำนองนี้ "ยังขาดความเคร่งขรึม"อย่างไรก็ตาม เพลงคิมิงะโยะทำนองนี้ปัจจุบันยังคงมีการบรรเลงปีละครั้ง ที่ศาลเจ้าเมียวโคจิ เมืองโยโกฮามา ซึ่งเป็นศาลเจ้าที่สร้างขึ้นเพื่ออุทิศแต่เฟนตัน ผู้ได้รับหน้าที่เป็นผู้นำวงโยธาวาทิตของญี่ปุ่นประจำเมืองนี้
ในปี ค.ศ. 1880 สำนักพระราชวังของญี่ปุ่นได้เลือกทำนองเพลงคิมิงะโยะใหม่ ซึ่งประพันธ์โดย โยะชิอิสะ โอกุ และอะกิโมะริ ฮะยะชิ ผู้ประพันธ์เพลงอีกคนหนึ่งที่มักจะถูกกล่าวถึงรวมอยู่ในกลุ่มผู้แต่งทำนองนี้ด้วย คือ ฮิโระโมะริ ฮะยะชิ ซึ่งเป็นผู้ดูแลงานของทั้งสองคน และยังเป็นพ่อของ อะกิโมะริ ฮะยะชิ อีกด้วย ทั้งนี้ ตัวอะกิโมะริเองก็เป็นลูกศิษย์คนหนึ่งของเฟนตันด้วย แม้ทำนองใหม่นี้จะมีพื้นฐานจากทำนองเพลงของราชสำนักโบราณก็ตาม แต่ก็มีการผสานเข้ากับดนตรีประเภทเพลงสรรเสริญ (hymn) ของชาติตะวันตก และใช้บางส่วนที่เฟนตันได้เรียบเรียงไว้แต่เดิมด้วย โดยฟรานซ์ เอ็คเคิร์ต (Franz Eckert) นักดนตรีชาวเยอรมัน ได้ปรับปรุงทำนองเพลงนี้ให้มีความกลมกลืนแบบตะวันตกมากยิ่งขึ้น นับได้ว่าเป็นการสร้างเพลงคิมิงะโยะฉบับที่ 2 และเป็นฉบับที่ใช้ในปัจจุบัน และนับตั้งแต่ปี ค.ศ. 1893 เป็นต้นมา เพลงคิมิงะโยะได้ถูกบรรจุให้ใช้ในพิธีการของโรงเรียนรัฐบาลด้วยการผลักดันของทางกระทรวงศึกษาธิการญี่ปุ่น เพลงนี้บรรเลงด้วยบันไดเสียง ซี เมเจอร์