盡管早在16世紀初便產生了用兩個玻璃鏡片一前一后放大物體的想法，但這種儀器的誕生卻在很久之后。人們通常認為荷蘭眼鏡制造商Hans Janssen和他的兒子Zacharias發明了復合顯微鏡。兩人在16世紀的最后十年制造了可能是臺復合顯微鏡，放大率在3到9倍之間。

其他科學家也曾制作過放大儀器。1609年，伽利略-伽利萊將自己的一部望遠鏡改造為顯微鏡。這臺顯微鏡以凹透鏡為目鏡、凸透鏡為物鏡。1620年左右，天文學家Cornelius Drebbel制作了一臺由兩個凸透鏡組成的早期顯微鏡。這顯然不是Drebbel自己的想法，而是約翰內斯-開普勒的想法。

真正掀起近代顯微鏡科學熱潮的是英國多才多藝的科學家羅伯特-胡克。

1667年，他首先發表了“顯微圖譜”主題的基礎性著作。書中包含他用顯微鏡觀察的畫面的繪圖，讓更多的公眾知道了微觀世界。他所展示的一些圖片是在50倍放大率下觀察到的畫面。

胡克使用的顯微鏡來自于倫敦的儀器制造商克里斯托弗-科克。他通過將傳統的油燈與鞋匠使用的玻璃球（一個裝滿水的玻璃燒瓶）對顯微鏡進行了改進，玻璃球可以將光線集中在樣本上，形成更均勻的照明。然而，胡克遇到了圖像畸變的嚴重問題，而且使用兩個鏡片時，畸變變得更加嚴重。

在相當長的一段時間里，顯微鏡的放大率是由荷蘭人安東尼·范·列文虎克（1632年-1723年）實現的。最初，顯微鏡只是這位布商的一個愛好，他用自己的顯微鏡將物體放大200倍以上。他沒有像胡克那樣使用復式顯微鏡，而是使用只有一個單鏡片的顯微鏡。這樣，他便避免了胡克所遇到的兩個鏡片的像差疊加問題。但一個鏡片的缺點之一是，使用者必須將眼睛貼近儀器。

即使在今天，也沒有人知道列文虎克是如何制造出如此高質量的鏡片，這些鏡片幾乎沒有表面雜質和缺陷，而且能夠實現如此高的放大率。當他在1723年以91歲高齡時，他的鏡片制作知識也隨他而去。由于他的顯微鏡具有的放大率，列文虎克是個觀察到細菌和精子等活體和運動細胞的人。

當時顯微鏡主要被認為是一種富人的消遣，它潛在的科學價值尚未得到世人的認同，因此在之后的幾十年中，顯微鏡并沒有進一步的開創性技術改進。直到18世紀晚期才產生消色差透鏡，它可以防止主要的色差，減少鏡片缺陷造成的分辨率損失。艾薩克-牛頓的一個觀點是導致消色差透鏡很晚才被發明的原因之一。當時牛頓已是一位成名的自然科學家，1666年，他錯誤地聲稱色差是無法消除的。

19世紀初，約瑟夫·馮·弗勞恩霍夫（Joseph von Fraunhofer）通過大幅提升顯微鏡光學玻璃的質量，進一步減少了圖像畸變。19世紀中期，意大利人喬瓦尼·阿米奇(Giovanni Amici)開發了水浸和油浸物鏡。1873年，恩斯特·阿貝（Ernst Abbe）為制作高放大倍數顯微鏡提供了科學依據。在此之前，顯微鏡鏡片的制作一直是基于試錯原理，而非現在的計算光學。與此同時，阿貝預言，光學顯微鏡的分辨率最多只能達到200納米。除了計算顯微鏡光學的基礎之外，阿貝還在接下來的幾年里改進了油浸式物鏡和照明裝置。僅僅幾年后，奧古斯特·科勒（August Koehler）開發了“科勒照明”，它使顯微鏡照明實現了標準化，而且直到今天仍然是一個普遍接受的照明方式。

20世紀上半葉，許多新發現為現代顯微鏡技術奠定了基礎，最重要的是，為熒光顯微鏡和相關技術（如雙光子和多光子顯微鏡）建立了基本原理。1941年，弗里茨·澤尼克(Frits Zernike)發明了臺相襯顯微鏡，改變了顯微鏡世界。幾年后，在20世紀下半葉之初，喬治﹒諾馬爾斯基(Georges Nomarski)發明了微分干涉相襯顯微鏡，它與相襯顯微鏡一樣，至今仍在廣泛使用。

熒光顯微鏡的一個重要發展是綠色熒光蛋白（GFP）的發現。村修(Osamu Shimomura)于1961年從名為Aequorea victoria的水母中分離出GFP。19世紀90年代，道格拉斯·普魯切(Douglas Prasher)和馬丁?查非(Martin Chalfie)成功在水母體外表達了GFP，這使它可以作為其他蛋白質的標記物。隨后的幾年中，許多熒光技術得到開發和改進，這些技術在現代顯微鏡中仍然發揮著重要作用，如漂白后熒光恢復（FRAP）和全內反射熒光（TIRF）。

1957年，馬文?明斯基（Marvin Minsky）申請了個共聚焦顯微鏡的。最初，這一發明并未得到科學界的重視。但經過激光技術的改進后，它獲得了廣泛的認可，并成為了一項大受歡迎的技術。