诗曰：“思齐大任，文王之母。思媚周姜，京室之妇。大姒嗣徽音，则百斯男。”林徽因的名字，从诗经《大雅·思齐》的大姒嗣“徽音”二字演绎而来，后因与中国海派作家、诗人林微音的名字时有混淆，便将“音”改为了“因”字。这是林徽因祖父林孝恂亲自取的名字，意为继承美德，同时引出孙儿满堂，林家昌盛的意思。
林徽因是林孝恂的长孙女，这一房人这一代的第一个孩子。实际上，林徽因的母亲是林长民第二房夫人。林长民原配夫人叶氏早早地过世了，也没有留下一男半女。所以，这位生于浙江小城嘉兴，父亲开了一间小作坊，只能算小家碧玉的女子，还算幸运地作了填房。
后来有人评价，林徽因的母亲何雪媛，头脑像她裹得紧紧的一双小脚一样，守旧又畸形。本是文盲的她，嫁入林家这样的书香门第，好好地经营德容妇容，将丈夫、公婆伺候好了，或许日子会如意吉祥一生。但是，她却不这么想和做。何雪媛在家排行最小，娇生惯养，斗大的字不识不说，也不会女红，而且更为招人不快的是一张利嘴，脾气暴躁不检点小节，特别任性。在家做姑娘时，父母还包容惯着，但是，到了林家，依旧一点也不改性子，我行我素地不以为然。这样的模样，让婆母游氏非常反感，当然其他人也不待见。游氏喜好读书，工于书法，而且女红也拿手在行，既是贤妻良母，又是一派大家闺秀的风范，主母的端架，让人不得不信服于她。一对比，何雪媛自然与婆母相差不是一大截，根本就是处在两个世界里的人，必然不讨游氏的欢欣。生下长女林徽因后，何雪媛也为林家添过一男一女，但都不幸夭折了，家庭地位更令人堪忧，丈夫不疼，公婆不爱，自然成了林家的嫌人。
林徽因有一位优秀出色的父亲，上天便给了她一位平凡得不能再平凡的母亲。上苍说，世间是公平的，人世是不完美的，总有一个支点平衡才好。
林家接二连三地失去子嗣，原本因林长民在日本留学，也没有将纳妾提上议程，如今这样的“香火”不旺，林家人不得不考虑后继的事情。

林长民(1876—1925)
1912年，林长民娶了第三个妻子程桂林。程桂林也不识字，但是她精明乖巧，投得公婆的缘，伺候林长民也有妻子的章法，慢慢地，自然在林家就有了地位。再到后来，程桂林生下了林燕玉、林桓、林恒、林暄、林垣几个子女，更是受宠得爱，同时林家也有了光大门楣的后来。林桓成为了美国俄亥俄美术学院院长，林桓的女儿林璎，2010年获得美国国家艺术奖章，在美国白宫接受美国总统颁奖。她学习从事的专业，就是姑姑林徽因的建筑学，成绩斐然。林家人都有革命的情怀，到了林徽因这一代，三弟林恒在抗日战争中，驾驶战机阵亡于成都上空。为此林徽因悲伤地写下了《哭三弟恒——一九四一年空难阵亡》一诗，成为经典之作。全诗浸透的惋惜、伤痛、不舍，撕心裂肺地哭诉着！当然，这是后话。
程桂林一脉，枝繁叶茂，深得林家人的宠爱。由此，林长民便以“桂林一枝室主人”居称，又因宅院里栽着栝树两株，他又自谓“双栝老人”。
程桂林的好，林徽因母亲何雪媛的不是，一直笼罩在这个家庭，尤其在林徽因的心头，是一个无法解开的伤痛。当然，何雪媛自己何尝不是难过与无奈的。
在大院、堂屋前，林家人是极其喜欢林徽因的。她乖巧，漂亮的样子很像祖母游氏。出生后的林徽因，基本是祖母一手带大的孩子，游氏将她放在自己房里抚养，从小的知识作风启蒙，思想启迪和开发，都是得了游氏和祖父林孝恂的言传身教，两位老人都是文人，有修养，重教育，特别是林孝恂，从布衣成为朝廷命官，所经历过的社会变革和朝廷纷争肯定不一般，自是有一套做人的方式和方法。他不但将自己的儿子送出国门学习深造，也鼓励支持亲属子女出国，另外他还资助蒋百里赴日本留学，蒋百里后来成为民国时期著名的军事教育家，由此可见林孝恂独显其慧眼和敏锐的政治家思想。
20世纪末浙江石门民间发现林孝恂手书的对联：
书幌露寒青简湿
墨花润香紫毫圆
林孝恂读书泼墨，书卷气一直伴随为官道路。这幅对联正是林孝恂宦余生活的写照。文人官人，大多有不一样的经历，也会造就不一般的气质和气魄。林孝恂敢于打开封建思想的禁锢，实乃真开明。林孝恂请了国学大师和外籍教师在家中讲学；聘请国学大家林琴南讲析四书五经；聘请新派名流林白水讲授天文地理知识，以及境外概况；又招了外籍教师华惠德（加拿大）、嵯峨峙（日本）来家教习英文、日文。这种做法，用今天的话归纳来说，就是叫教育投资，而多半眼界开阔的人选择的方式和理念不同。在晚清有这样的教育做法，是超出常人和常规做法的，而且中西兼容，更不容易了。
林徽因在这样的家庭环境中长大，受到的熏陶必然比其他孩子高出一筹。林徽因作为中西方文化契合的最好范本，这与林孝恂主持的家庭教育模式是分不开的。
林长民时常在外，留林徽因在祖父母膝下环绕。林徽因6岁时，她就开始做了祖父的通讯员，代笔给父亲写信。这些信已经无法寻到了，但是，家人幸运地保存了一些林长民给她的回信，弥补了这份遗憾的珍贵。记录最早的一封书于林徽因7岁时。