यह आम तौर पर स्वीकार किया जाता है कि आगरा महाभारत के समय से एक प्राचीन शहर था. और फिर भी दिल्ली सल्तनत के मुस्लिम शासक सुल्तान सिकंदर लोदी ने वर्ष 1504 में आगरा की स्थापना की। सुल्तान की मृत्यु के बाद, शहर अपने पुत्र सुल्तान इब्राहिम लोदी के पास गया। उसने 1526 में लड़ी गई पानीपत की पहली लड़ाई में मुग़ल बादशाह (सम्राट) बब्बर से लड़ने तक गिरने तक आगरा से अपनी सल्तनत पर शासन किया।
शहर का स्वर्ण युग मुगलों के साथ शुरू हुआ। यह तब अकबरबाद के रूप में जाना जाता था और बादशाहों (बादशाहों) अकबर, जहाँगीर और शाहजहाँ के अधीन मुगल साम्राज्य की राजधानी बना रहा। अकबर ने इसे अपने मूल बारह सूबों (शाही शीर्ष-स्तरीय प्रांतों), बॉर्डरिंग (पुरानी) दिल्ली, अवध (अवध), इलाहाबाद, मालवा और अजमेर के उपमहाद्वीपों में से एक का नाम दिया। शाहजहाँ ने बाद में वर्ष 1649 में अपनी राजधानी को शाहजहांनाबाद स्थानांतरित कर दिया।
चूंकि मुगलों के अधीन अकबरबाद भारत के सबसे महत्वपूर्ण शहरों में से एक था, इसलिए इसने बहुत सारी इमारत गतिविधि देखी। मुगल वंश के संस्थापक बाबर ने यमुना नदी के किनारे पहला औपचारिक फ़ारसी उद्यान तैयार किया था। बगीचे को आराम बाग या विश्राम का उद्यान कहा जाता है। उनके पोते अकबर द ग्रेट ने आगरा को सीखने, कला, वाणिज्य और धर्म का केंद्र बनाने के अलावा, महान लाल किले की विशाल प्राचीर खड़ी की। अकबर ने फतेहपुर सिकरी नामक अकबरबाद के बाहरी इलाके में एक नया शहर भी बनाया। यह शहर पत्थर में मुगल सैन्य शिविर के रूप में बनाया गया था।
उनके बेटे जहाँगीर को वनस्पतियों और जीवों से प्यार था और उन्होंने लाल किले या लाल क़िला के अंदर कई बाग़ लगवाए। शाहजहाँ, जो वास्तुकला में गहरी रुचि के लिए जाना जाता है, ने अकबरबाद को सबसे बेशकीमती स्मारक, ताज महल दिया। अपनी पत्नी मुमताज महल की प्रेममयी स्मृति में निर्मित यह मकबरा 1653 में बनकर तैयार हुआ।
शाहजहाँ ने बाद में अपने शासनकाल के दौरान राजधानी को दिल्ली स्थानांतरित कर दिया, लेकिन उनके बेटे औरंगज़ेब ने अपने पिता की वापसी और उन्हें वहाँ के किले में कैद कर राजधानी अकबरबाद वापस ले गए। औरंगज़ेब के शासन के दौरान अकबरबाद भारत की राजधानी बना रहा जब तक कि उसने इसे 1653 में दक्कन में औरंगाबाद में स्थानांतरित नहीं कर दिया।
1803 में ब्रिटिश राज के हाथों में आने से पहले, मुगल साम्राज्य के पतन के बाद, शहर मराठों के प्रभाव में आया और आगरा कहलाया।
1835 में जब अंग्रेजों द्वारा आगरा के राष्ट्रपति पद की स्थापना की गई थी, तो शहर सरकार की सीट बन गया था, और दो साल बाद ही यह 1837-38 के आगरा के अकाल का गवाह बन गया था। भारत भर में 1857 के ब्रिटिश शासन के विद्रोह के दौरान, धमकी दी गई थी कि विद्रोह की खबर 11 मई को आगरा पहुंची थी और 30 मई को देशी पैदल सेना की 44 वीं और 67 वीं रेजीमेंट की दो कंपनियों ने विद्रोह किया और दिल्ली तक मार्च किया। अगली सुबह आगरा में देशी भारतीय सैनिकों को निर्वस्त्र करने के लिए मजबूर किया गया, 15 जून को ग्वालियर (जो आगरा के दक्षिण में स्थित है) ने विद्रोह कर दिया। 3 जुलाई तक, अंग्रेजों को किले में वापस जाने के लिए मजबूर होना पड़ा। दो दिन बाद सुचेता में एक छोटे से ब्रिटिश बल को पराजित किया गया और वापस लेने के लिए मजबूर किया गया, जिसके कारण भीड़ ने शहर को बर्खास्त कर दिया। हालांकि, विद्रोहियों ने दिल्ली पर कब्जा कर लिया, जिसने 8 जुलाई तक अंग्रेजों को आदेश बहाल करने की अनुमति दी। दिल्ली सितंबर में अंग्रेजों के हाथों गिर गया, अगले महीने विद्रोही जो मध्य भारत से विद्रोहियों के साथ दिल्ली से भाग गए थे, आगरा पर मार्च किया, लेकिन हार गए। इसके बाद 1947 में भारत की स्वतंत्रता तक ब्रिटिश शासन फिर से शहर में सुरक्षित हो गया।
आगरा उस धर्म का जन्मस्थान है, जिसे दीन-ए-इलाही के नाम से जाना जाता है, जो अकबर के शासनकाल में और राधास्वामी विश्वास के दौरान फला-फूला, जिसके दुनिया भर में लगभग दो मिलियन अनुयायी हैं। आगरा में जैन धर्म के शौरिपुर और 1000 ईसा पूर्व हिंदू धर्म के रुनकता के साथ ऐतिहासिक संबंध हैं।