据现存的陈独秀家谱记载，大约在南宋末期，江西九江“义门陈”陈旺公系下后裔陈汝心公一房，分徙到安徽省怀宁县（县治在今天的安庆市区），最后在怀宁县棕阳门外金锭桥大江一带的柳林湾安家落户，其地很可能陈独秀《实庵自传》中所写的渌水乡，离现在安庆著名的迎江寺不远。陈汝心公可算是怀宁陈氏家族的始祖。
到了陈独秀这一代，陈氏在怀宁已经生活了19代，所以章士钊在谈到陈独秀的出身时，曾说：“陈独秀，怀宁世家子，自幼读书有声。”
在陈独秀父亲之前的18代，陈氏世代以业儒为生，“而功名俱未显”。所以陈独秀在《自传》中曾自嘲地说：”我们这门姓陈的，在怀宁本是一个小户人家，绅士们是瞧不起的。在“万般皆下品，惟有读书高”的古代，即使陈家的经济水平不差，但没有科举功名，在当时也是被人看轻的。
陈独秀的祖父名章旭（1819-1889），字太占，亦字晓峰，靠着捐银纳粟，获得了盐提举衔候选知县的名头，但实际上从未放过实缺，一生以教书或作幕僚为职业，陈独秀称他为“白胡子爹爹”（安庆口语，称祖父为“爹爹”）。
这位“白胡子爹爹”，“精明强干……学问极其深醇，周济极其慷慨”，在家族中具有崇高地位，但性性暴躁，又有洁癖，极爱清静，谁讲话、走路，声音大了，他张口就骂，为此，家族的人都特别怕他。以至于常被乡人用作吓唬小孩的“利器”，如果小孩子哭闹不止，大人们便吓唬说：“白胡子爹爹来了。”这时，正在哭的小孩立马停住，不敢再哭闹了。
大约在陈独秀六岁左右，祖父承担起对他的教育之责。他对陈独秀读书非常严厉，如果孙子读书不用功，他便非常生气，对陈独秀非打即骂。这种家长制作风，给年幼的陈独秀留下了深刻的印象，后来人们常说陈独秀性格暴躁，有家长制作风，想必其中也有其祖父的影响吧。
陈独秀的祖母劳氏（1824-1870），系怀宁劳秉全之女。
到了陈独秀的父辈这一代，陈家始不断地有人中试，或为秀才，或为举人，有了功名，陈家才在地方上声名渐著。
陈独秀的大伯父名衍藩（1841-1861），字霭亭，亦以捐资的方式获得陕西候补直隶州之虚衔。太平军攻占安庆期间，投笔从戎。后离军归家途中，被太平军刺伤而死。
二伯父名衍藻，生于1846年，早殇，卒年失考。
陈独秀的生父名衍中（1848-1881），字象五，优廪贡生，江苏补用府经历。读书刻苦，后中秀才。为人”天性最厚，亲友困乏者，解衣衣之，推食食之。”自中秀才后，“文名日甚，四方来学者日众……皖中知名士，半出其门焉”。一生主要以教书为业，足迹达桐城、苏州等地。
1881年，苏州瘟疫流行，象五染疾，卒于苏州怀宁会馆，年仅34，其时独秀尚不满两周岁。幼年丧父，可以说是人生的一大不幸，所以他在《实庵自传》的第一章即标题为《没有父亲的孩子》。
1921年，陈独秀应广东省长陈炯明之聘，出任广东省教育委员会委员长，在一次宴会上，陈炯明忽然问他：“外间说你组织什么‘讨父团’，真有此事吗？”陈独秀听后，幽默地回答道：“我的儿子有资格组织这一团体，我连参加的资格都没有。”这个诙谐的回答，使得在座的所有人听后，都哈哈大笑起来。从这件小事上，我们可以看出，陈独秀虽然性情刚烈，但天性中自有一种旷达、率真，且极富幽默和风趣。
陈独秀的生母查氏（1852-1899），生性善良，有一副菩萨心肠，乡人有急难，她遂慷慨解囊，尽力相助，在亲友中有“女丈夫”之称。
陈独秀兄妹四人，他最小。其大姐生于1870年，嫁商人吴向荣，晚年居江津，1939年去世。二姐生于1871年，嫁画家姜筠之侄超甫，1920年去世。
大哥谱名庆元（1872-1909），官名健生，字孟吉。读书其为用功，后中秀才。为人天性善良，陈独秀在《自传》中称他为“一个阿弥陀佛的大哥”。在祖父去世后，这位被陈独秀称为“阿弥陀佛的大哥”，便承担起教育陈独秀的职责来，他尽心尽力，对陈独秀的成才起了很大的作用。
陈独秀的叔父名衍庶（1851-1913），字昔凡，光绪元年（1875）恩科举人，历任东北怀德、柳河知县，署奉天（今辽宁）府军粮同知，代理新民府知府，升道员。
陈衍庶在东北任职时，正值日俄战争爆发，中国商人趁机贩运马匹以获暴利，而马匹经过陈衍庶的管辖之地，要抽取牲口税，并且无须再上缴国税，因而大部分便进了陈的腰包，很快他就腰缠万贯，成了安庆令人刮目相看的大户。
有了大量的钱财后，陈衍庶在辽宁彰武县、安徽贵池等地大置田产，而且还在北京的琉璃厂投资开设了颇有名气的“崇古斋”古玩铺，并在奉天、上海等地设有分店。可以说，陈家一时成为了怀宁的巨富。
陈衍庶虽然名利显赫，但也有一件不称心的事。他先后娶妻3房，但均未生一子。为使陈家大业后继有人，他看中了其兄次子陈独秀。当时，17岁的陈独秀在安庆参加府试，一举便取得了秀才第一名，这使得陈衍庶认为他将来前程一定远大。于是，在家族的商议下，陈独秀就过继给叔父陈衍庶为嗣子，并在陈家祠堂办理了过继的正式手续。
陈衍庶有很高深的文化修养，在书画方面造诣颇深，酷爱收藏。他很喜欢聪明的陈独秀，到东北上任时，把陈独秀带在身边，做些文书工作，并亲自教导其读书识礼，对他抱有很大希望。他一再对陈独秀说:“不得功名，何以为官？要想出人头地，就得先苦读几年，把书念好！”
陈独秀自幼就性格刚烈，特立独行，迥异于常人，虽有家财万贯，却不愿意做一个衣来伸手、饭来张口的“华胄公子”。作为陈衍庶的嗣子，继承家产本是理所当然的。然而，陈独秀自参加革命后，屡说自己是个从小“没有父亲的孩子”，从不提起官运亨通的嗣父，即使在《自传》中也只字未提。他走南闯北，宁愿过着穷困的“寒士”生活，也不愿依赖嗣父的财产为生。对于家业兴衰他也毫不关心。
此外，由于陈独秀与结发妻的同父异母妹自幼相爱，而被陈衍庶视为有悖人伦，丢了陈氏的脸面，从而被赶出家门，不得不在外过着自食其力的生活。
同时，由于陈独秀四处奔波革命，屡遭反动当局的迫害与通缉，致使家庭多次遭受牵连，这也使得嗣父陈衍庶深感头痛。
他认为自己是朝廷的命官，而自己的嗣子偏偏是个“不忠不孝”的“乱臣逆子”，是康党、乱党、革命党，一心要推翻腐朽的满清王朝和北洋军阀。这种行为，在他心里，实属大逆不道。由此，这对嗣父、嗣子的关系日渐恶化，最后至于互不相认。