耳机的评价需要客观测试与主观听音相结合。客观测试包括频率响应曲线、阻抗曲线、方波测试、互调失真等。
要正确评价耳机的声音先要了解耳机声音的特点。耳机有音箱所不能比拟的优势，相位失真小，频率响应宽阔，瞬态响应好，细节丰富，能还原出细腻逼真的音色。但是耳机有两个缺点，准确的说这是耳机的两个特点，它们是由耳机相对于人体的物理位置决定的。
一是耳机的“头中效应”。耳机营造的声学环境是自然界所没有的，自然界的声波是与人的头部和双耳相互作用后进入耳道的，耳机发出的声音则直接进入耳道；而唱片大部分又是为音箱重放制作的，声像位于两支音箱的连接线上，由于这两个原因我们用耳机时会感到声像形成在头中，听感不自然，容易引起疲劳。耳机的“头中效应”可以通过采用特殊的物理结构加以改善，声场模拟软件和硬件在市场上也有不少。
二是耳机的低频。低频下段(40Hz-20Hz)和超低频(20Hz以下)是通过身体感知的，人耳对这些频段是不敏感的。耳机可以完美的重放这低频，但由于身体无法感觉到低频，会让人觉得耳机的低频不足。既然耳机的听音方式与音箱是不同的，耳机对声音的均衡就有其特有的方式。耳机的高频一般都有所提升，这样给人以细节丰富声音平衡的感觉；一只低频完全平坦的耳机往往会让人觉得低频不足，声音偏瘦，适当提升低频也是耳机经常采用的手段，这样可以使耳机的声音显得丰满，低频下潜深。常使用这一手段的是轻型耳机和耳塞，它们的振膜面积小无法重放出深沉的低频，通过提升低频中段(80Hz-40Hz)就可以得到令人满意的低频效果。
真实的声音不一定是美好的，在耳机设计中这两种方法是有效的，但是过犹不及，如果过度的提升高频和低频会破坏声音的平衡感，刺激的音色容易引起疲劳。中频对于耳机是一个敏感的区域，这里音乐的信息丰富，也是人耳敏感的地方。耳机的设计对待中频是谨慎的，一些低档耳机其频率响应范围有限，却通过提提升中频的上段和低段获得明亮尖锐的音色和浑浊、有力度的声音，造成高低频不错的假象，长时间聆听这种耳机，会觉得索然无味。