大约在1663年，牛顿即开始热衷于光学研究，磨玻璃、制作望远镜也在这个时期。1666年，他购得一块玻璃三棱镜，开始研究色散现象。为了这个目的，牛顿在他的《光学》一书中写道:“把我的房间弄暗,在我的窗板上开一个小孔，以便适量的太阳光射入室内，就在入口处安置我的棱镜，光通过棱镜折射达到对面的墙上。”牛顿看到墙上有彩色的光带，光带之长数倍于原来的白光点，他意识到这些彩色就是组成白色太阳光的原始光色。为了证明这一点，牛顿进一步做实验。在光带投射的屏上也打一个小孔，让光带中彩色的一部分穿过第二个小孔，经过放在屏后的第二个棱镜折射投到第二个屏上，又让第一棱镜绕它的轴缓慢转动，只见穿出第二个小孔落在第二屏上的像随着第一棱镜转动而上下移动。于是看到，为第一棱镜折射最大的蓝光,经过第二棱镜也是折射得最大；反之,红光被前后两个棱镜折射得最小。于是牛顿作出结论:“经过第一棱镜折射后所得长方形的彩色光带不是别的，正是由不同的彩色光所组成的白色光经折射而形成的。”也就是说：“白光本身是由折射程度不同的各种彩色光所组成的非均匀的混合体。”这就是牛顿的光色理论。它是通过实验建立起来的，牛顿自称这个实验为“关键性实验”。这个实验可说是一个半世纪后 J.von夫琅和费建立光谱术的基础。事实上牛顿在他的《光学》第 1卷命题4问题1中用过1～2英寸长、宽仅1/10或1/20英寸的长方形的孔代替小圆孔，他说所得结果较前更清晰，但没有夫琅和费线的记载。牛顿在这方面做了大量的实验之后，于1672年把他的结论用书信形式送交皇家学会评审。不料竟引起一场尖锐的论战。当时惠更斯反对他，胡克攻击他尤甚。早在1665年胡克就在英国提出光的波动理论，这只是一个假说。惠更斯则把它完整起来，认为空间的以太是无所不在的，他把以太作为振动的媒质，把媒质的每一个质点都看成一个中心，在中心的周围形成一个波，惠更斯成功地用这个物理图像来解释光的反、折射、还以此来研究冰洲石的双折射（但是光的波动学说的确立还有待于一个半世纪之后由英国的T.杨的干涉实验来证明）。牛顿则持光的微粒说，他认为波动说的最大障碍是不能解释光的直线进行。他提出发光物体发射出以直线运动的微粒子、微粒子流冲击视网膜就引起视觉。它也能解释光的折射与反射，甚至经过修改也能解释F.M.格里马尔迪发现的“衍射”现象。但对薄膜形成的彩色，牛顿则承认微粒说不如波动说解释得明快。微粒说与波动说之争在当时是十分激烈的，双方争论持续多年。当年光的微粒说与波动说之争，现在可以引用E.T.惠特克的话来结束这桩公案：“当A.爱因斯坦以M.普朗克的量子原理来解释光电效应，光的微粒思想经过一个世纪的沉寂而在1905年又获得了新生，并因此而导致光量子存在的基本原理。他的思想为实验所充分肯定，特别是光子与电子碰撞所产生的康普顿效应服从经典的碰撞力学定律。而同时,关于光的波动性的实验并没有失效，于是我们不得不承认波动说和微粒假说都是正确的。”无疑,牛顿的《光学》(Opticks)是和他的《原理》同为物理学的巨著，也是科学界的经典著作。《光学》第一版印于1704年，在胡克逝世之后问世。《光学》最后部分以独特的形式附上一份著名的“问题”表，共提出31个“问题”（第一版提出16个“问题”）。在“问题”中所谈到的不仅是光的折射、反射等，还涉及光与真空,甚至重力、天体等问题。在多处谈到光的波动,涉及太阳光与物质的相互作用等问题，这些问题涉及物理学的诸多方面，富有启发性，后人评价这些“问题”是《光学》中最重要的部分，并非虚语。牛顿在《光学》一书中凭借实验的结果与分析，建立了光的理论。但在全书中没有提起不同玻璃具有不同折射率，在全书中也没有做消色差的实验，这或许是由于他当时还没有获得不同质玻璃的三棱镜的缘故。但是牛顿制造反射式望远镜来避免物镜的色散，却是个妙法，迄今大型望远镜的制造还遵从此法。牛顿死后3年(1730)出版了经牛顿生前订校过的《光学》第 4版。现在流行的1931年版本就是根据第4版重印的。
　　爱因斯坦在为牛顿《光学》1931年重印本所作的序中说：“牛顿的时代早已被淡忘了……牛顿的各种发现已进入公认的知识宝库，尽管如此，他的光学著作的这个新版本还是应当受到我们怀着衷心感激的心情去欢迎的，因为只有这本书才能使我们有幸看到这位伟大人物本人的活动。”