北山小学，因其座落于延吉市区北部小山丘而得名。它是延吉最早的一所公立小学。它创办于何时，至今尚有争论。有的人认为它始办于1901年(光绪二十七年)10月21日，当时称为“学务书院”，但未见史籍记载；另一说，认为它创建于1904年(光绪三十年)，此说见于《延吉县志》。因《延吉县志》写作年代较早，这一说是可信的。
在地处边陲之地的延吉，开办这样规模的学堂，不免有些仓促之处。所以，开办不久，即显露纰漏，到后来则境况愈趋不佳。1907年7月，延吉厅抚民同知阮忠植视察了中学堂。他发现学堂师资匮乏，办学条件又十分简陋，培养出来的学生水平较低，与中学生之称不相称等问题，下令将中学堂改为两等小学堂。这样，延吉北山中学堂遂称为延吉官立两等小学堂，设初等、高等两个班。初等班学制5年，收7～9岁儿童入学，课程有：修身、读经讲经、算术、中国历史、中国文学、格致、图画、体操；高等班学制4年，学生每周上36节课，必修课有：修身、读经讲经、中国文学、算术、中国历史、地理、格致、图画、体操，有时还加授手工、商业等随意课。
延吉官立两等小学堂的教学方法虽然较旧私塾有所改进，但还是没有摆脱旧的教学框框：教习仍是在讲堂上一味灌输，学生则死记硬背。学堂的堂规也很严厉，虽然名义上废除了体罚，但罚站、“禁假、禁出游”等私塾先生的管理办法仍然盛行。学生所受到的危害是显而易见的。
1908年，吉林边务帮办吴禄贞亲自视察了学堂。“因鉴该校日形废弛，遂即拨款改组规模，始稍完备”(《延吉县志.教育》)。这样，学堂在地方官员的关照下，有了迅速发展。到1909年(宣统元年)11月，学堂有初级班学生30名、高级班学生40名。这在当时的延边可算是一所不小的学堂。这一年，两等小学堂的堂长是王嘉英，教习有张树谷(兼学监)、常占勤、王炳之、陶荣生、郭毓万，副教习有王树滋，还有义务医员尹襄、庶务姜汝宽、书记王悟以及7名杂役。
19l0年，延吉两等学堂境况又趋不佳。3月，由于学生寝室年久失修，四壁透风，致使7名学生受风病倒。学堂只好向延吉府请求修理学生寝室。4月又因经费困难，裁去教习郭毓万。学堂由于管理不善，迭相更换堂长：4月,延吉府决定由方培良接替温迎辰为堂长。由于经费困难，1909年3月创立的半日学堂也在本年并入了两等小学堂。这个半日学堂类似今日的夜校，主要招收幼年失学者。它的停办，无疑是延吉社会教育事业的一项损失。这里值得一提的是两等小学堂在同年3月颁布的《勉戒学生规则》，它计有10条，对于约束学生起了一定的作用。
1911年初，温迎辰再度出任堂长。但这时的学堂已是民心涣散，学生和教习数大减。据7月的统计，学生只有54名，教习3名，管理员、杂工6名。同年10月，武昌起义爆发，推翻了延续267年的清政府统治。这种飞速发展的革命形势，使北山小学堂师生异常振奋。他们分别以各种形式遥相呼应；内地来的教师和学生迅即离开学校到南方参加革命活动，留下来的也罢课、罢教，有的还一走了之。这所原来书声朗朗而有生气的学堂变得死气沉沉了。学堂徒有其名，被迫停办。
民国元年，延吉府代理知府关云从视察北山学堂。8月，他拨款整修了北山两等学堂，并从河北、辽宁招聘几位教习，按两等小学建制，又招收了高等两班学生。学堂开始恢复正常教学秩序。11月，按民国政府指令，学堂去掉“官立”字样，改称延吉府立北山两等小学校，主持校务的堂长改称校长。这一年，按照民国政府教育部指令，学校进行全面改革：停止使用清政府学部颁行的教科书，改用符合民国革命宗旨的教科书；在初等班允许招收女学生；禁止体罚等等。这对学校的发展起了重要作用。
民国2年2月，延吉府决定，将延吉府预科工业初等学校并入北山两级小学。其学生经过考试，编入北山小学高等1班。延吉府预科工业初等学校创办于1911年3月，原称延吉府初等工业学堂，学制3年，学生除学习国文、算术等普通课程外，主要学习土木等实业科目。它的并入使北山小学的规模扩大了。
同年，延吉府改为延吉县，北山小学又改称延吉县立第一初高等小学校。
到了1914年11月，北山小学已具有相当规模，成为延边地区有名的两级学校。学校有初高级班各两个，学生151名。校长是常占勤，教员有9名。
据《延吉县志》载，1914年12月，当时的延吉县立第二初高等小学校由于经费极度困难，并入了北山小学。第二两等小学校原址在北山小学东侧，它是由陶彬倡议，在1909年12月开办的，最初称延吉垦民规范学堂。这所学校并入北山小学之前，校长是程余胜，教员有鲁忠善、许清钧、徐光第、蔡天极。
1915年6月，在全国人民反对袁世凯接受灭亡中国的“二十一条”的斗争浪潮影响下，局子街(延吉)各界群众齐集于北山小学，不顾官方的阻挠，毅然成立救国储金会，发起了反日爱国储金活动和提倡国货、反对日货活动。北山小学的一些师生也积极投身到这一活动中。他们贴标语、搞讲演，对广大群众进行了反日爱国宣传。
1917年7月，北山小学举行校庆l0周年纪念会。这次校庆活动，以阮忠植改设官立两等小学堂为建校日期。纪念会开得很隆重，一些地方上的官员和校友也赶来参加活动。这样，北山小学得到了一笔办学经费。
1918年至1919年，北山小学处于动荡不定的状态。1918年11月，校长王墨璋因故被免职，霍万程接任校长。1919年1月，霍万程又辞职，延吉劝学所劝学员王宗智代理校长职务。不久，张主权代替王宗智任校长。7月，张主权又辞职，刘景龄接任校长。
这一时期延吉的反日爱国运动日益高涨。1919年3月，北山小学一些学生和道立二中学生一起奔赴龙井，参加反日大示威。5月18日，又参加了道立师范学校声援北平学生爱国运动的反日大示威。不久，又有一部分学生罢课，参加延吉学生团，发表宣言，散发传单，显示出学生们的爱国精神。
北山小学在这个时期改善了学生福利与文化设施。据载，1919年设一所理发部，由学生轮流服务；增设一处学生阅报室，使学生了解国内外形势。
1920年3月，校长刘景龄辞职，由仲伟仁接任。从此，北山小学进入稳步发展阶段。据民国十四年延吉县教育委员霍万程所编《延吉县北路各区学事年报》记载，当年，学生有326名，年使用经费为6748元。校长刘锡龄(延吉人，省立师范学校毕业)，教员有于希伊(榆树县人，省立一师毕业)、王国骏(延吉县人，延吉道立中学毕业)，李延瑞(延吉县人，省立四师毕业)、索明(奉天人，奉天高师附中毕业)、张万春(奉天人，省立一师毕业)、杨振声(延吉县人，奉天铁岭师范学校毕业)、杨荫榆(延吉县人，延吉道立师范学校毕业)、王继尧(省立四师毕业)、田文炳(延吉道立中学毕业)，王墨林(省立一师毕业)。
1926年7月，宋振铎(星池)任校长。他到任后，整顿学校，采取民主治校方法，鼓励学生奋发学习，报效国家。对教员则提倡研究风气，关心国家大事。从此，学校的风气有所好转。但是，他的做法惹起了一些人的嫉恨，不得不在1927年辞去了校长职务。接任校长职务的，却是思想反动的刘景飏(字庚辰)。他上任后，压制民主，甘愿充当地方当局的走狗，“侦查”有排日情绪的学生。因此，一些学生的反日活动，不得不背着他开展，颇受影响。
1930年春，北平香山慈幼院毕业生、共产党员刘建章从延吉监狱获释后，来到北山小学任教。他化名刘光公，以国文和体育教员身份作掩护，担任中共北山小学地下党支部书记，支部成员有教员曹朕夹、徐振基、贾庆云、学生李世风。此时，北山小学亦有国民党党部，周秉谦任党部书记，成员有2名教员。
5月，中共延边特支在纪念“五卅运动”之际，准备举行一次以龙井为中心的“五卅”暴动。北山小学的地下党员也积极开展了活动。5月29日，曹、徐二位教师召集部分学生，研究第二天怎样通过烟集河到公园进行游行的方案。这个消息被思想反动的校长刘庚辰探知。他大为恼火，马上宣布将曹、徐二位教员开除出学校。不久，刘庚辰又伙同警察来抓刘建章，刘建章不得不出走。1930年夏季，发生反日暴动时，曹朕夹身穿朝鲜服装，参加了这次反日斗争。
1928年至1931年间，北山小学在开展所谓义务教育活动中办起了一所民众学校。这所学校主要招收失学儿童，在夜间补习识字、修身等课程。由北山小学教员做兼职教师。1930年招生84人，1931年招生33人。
l931年“九一八”事变一爆发，延吉镇守使吉兴就于9月19日到龙井日本总领事馆屈膝投降，延边遂落入日本人手中。延吉北山两级小学也和其他学校一样被迫关闭，许多教师和学生流离失所。有的则在我党的地下工作者的启发和教育下，毅然参加了抗日义勇军。东北抗日名将李延禄就是其中之一，后来投奔延安解放区参加革命的宋振庭、徐元泉也是在这一时期接受革命思想教育的。
1932年，北山小学复校。在刘景飏的把持下，学校完全按日本人的意图，把原来采用的教科书全部废止，暂用“四书”来代替，对有反日情绪的学生和教师，动辄以“抗日反满”的罪名开除或送进监狱。即使如此，许多教师仍坚持了各种形式的反日斗争。他们在讲授课文中的岳飞、文天祥等人物时，着意激发学生的爱国情感和宁死不屈的民族气节。
到1934年，北山小学仍有一定的发展。高等班学生有91人，初等班学生有482人。它附设的民众学校也得到恢复，当年招收女学生66人，男学生6人。1935年，北山小学学生增至710人，设高等班2个、初等班11个，教员有17人，使用经费达7973元。
这年，学校完全变成日伪实行奴化教育的阵地。在课程设置上，完全以培养“忠良国民性格之民”为基本宗旨，按1935年12月公布的《小学校教科书规程》，初、高等小学校必修课为：修身、国语、讲经、日语、算术、历史、地理、自然、实业、体育、音乐、图画。女学生加学家事和裁缝。讲授“修身”课，把泯灭学生的国家、民族意识作为首要任务；历史、地理课，则以割断历史、纂改地理的卑鄙手法，为侵略中国的“合法化”制造了舆论；日语当然是必修课，用作同化中华民族的手段。同时，还强迫学生背诵伪满皇帝的《即位诏书》，每日行“早礼”，定期在“建国体操月”参加法西斯军事训练。对教员的控制更是有过之而无不及，定期进行所谓的检定和考查，还就教员学习日语作出硬性规定。这些当然更加激起了广大师生的愤怒。
由于刘景飏实行奴化教育得力，1936年9月，伪间岛省政府下令将延吉北山两级小学改为延吉模范两级小学校，属省立学校。并决定在课程设置、人事安排、经费等方面予以优待。后来出版的《间岛省人物志》特载一篇大加吹捧刘景飏的文字。当年的北山两级小学和它的校长，在日伪实行奴化教育的过程中处于何等地位，亦由此可见一斑。
1937年11月，间岛省政府公布《关于新学制移行要纲》，开始全面贯彻满洲国政府于5月公布的“新学制”。1938年1月，北山小学按照这个“学制”，改成北山国民两级小学(即国民学校、国民优级学校的合称)。国民学校学制4年，国民优级学校学制2年。不久，延吉女子国民两级小学并入北山两级学校。延吉女子两级小学开办于1910年6月，是延边最早的公立女子小学校，原称“延吉女子小学堂”。20多年来，这所学校培养了大量的女性人才。合并前，这所学校的校长是省立女子师范毕业生巩秀琴。
合并后的北山学校，成为当时延边规模最大的学校之一。1937年，教员有17名，而1939年增至27名(含4名日本教员)，学生数增至l000余人。1943年，间岛省政府又将学校改名为“间岛市立北山国民两级小学校”，把这所学校当做他们重点控制对象。
1945年“八一五”光复后，北山小学回到了人民的怀抱里。在党的关怀下，它得到了迅速的发展。1950年，全校有教学班47个，学生2543名，教职工73名。这在当时的延边可算是规模最大的学校了。由于学校规模大，加上管理不便，经上级教育行政部门批准，于1952年设立分校(后改为进学小学)。设立分校后的北山小学还剩下30个教学班。1958年学校有教学班37个，学生2000余名，教职员工60多人，仍接近1950年的规模。
1966年以后的l0年浩劫期间，北山小学也深受其害。校名被改为“井岗山小学校”。学校的许多教室被拆掉，操场很大一部分被外单位占用。学生在“学工、学农、学军”的招牌下，没有受到正规教育，荒废了一代人的学业。
1976年以后，党的各项方针政策逐步得到落实，教育秩序迅速恢复。1978年，新建了一幢2200平方米的教学楼。
1981年l0月21日，北山小学举行了隆重的校庆80周年活动。在这所学校学习、工作过的校友、老前辈纷纷以各种形式表示祝贺。原铁道部副部长刘建章、农林部副部长徐元泉寄来了贺信；原吉林省高级人民法院院长王吉仁寄来了贺联；中央党校教育长宋振庭寄来了校歌歌词，全引于后。
延吉市北山小学校校歌
1．海兰江水清啊，烟霞集云岗，我们北山小学校，在全城先见朝阳。
2．祖国在振兴啊，民族正兴旺，建设四化的苗木，正在茁壮成长。
3．我们的校史值得骄傲，1901年在这个山岗开创，多少师生成为共产党人、多少英才从这里向蓝天飞翔。
4．保卫祖国，保卫边疆，建设祖国，建设边疆，民族友爱，四化富强，携手高歌，同学师长，北山学校，永放光芒。
1983年，根据广大师生和各界人士的要求，校名又恢复为“延吉市北山小学校”。当年有教学班23个，学生1300名，有77名教职工。到了1987年经过全校师生的精心整治，校园校貌已实现公园化，成为省、州、市的重点小学校。