日本银行总行设在东京。截止2010年9月，日本银行总行内设15个业务部门，国内有32家分行和14个国内办公室，在国外设有7个代表处。
1、行级领导
日本银行的“役员”（即行领导）由总裁1人、副总裁2人、审议委员6人、监事（3人以内）、理事（6人以内）以及参与（若干人）组成。
2、总行内设机构
日本银行总行内设15个业务部门，包括二室、十二局和一所，分别为政策委员会、检查室、企画局、金融机构局、清算机构局、金融市场局、调查统计局、国际局、发行局、业务局、系统情报局、信息服务局、总务人事局、秘书局、金融研究所。
政策委员会室职责范围包括政策委员会的议事运营，与国会、新闻机构和经济团体的联络，议案及其他重要文件的审查，
检查室负责对整个日本银行系统事务处理的检查。
企画局负责有关货币及金融调节基本事项的策划和立项，以及与货币及金融调节有密切联系的基本事项的策划和立项。
金融机构局负责以维护信用秩序为目的的基本工作的策划和立项，考查以及调查其他金融机构业务和财产状况等。
清算机构局负责有关清算系统基本事项的策划和立项等。
金融市场局决定金融市场调节的具体实施内容、完善国内金融资本市场的有关事项，参与外汇平衡操作实施以及为稳定外汇市场而签署外汇买卖合同等。
国际局负责外汇交易，外国央行和国际组织的资产运用有关业务，国际金融援助和国际金融方面的协调等。
发行局负责纸币发行、货币的出纳、检查和保管，残损货币及回收货币的兑换业务、票据交换等。
业务局负责票据贴现、贷款，票据或债券交易，国债业务、国内外汇交易等。
系统情报局负责日本银行事务处理系统化和计算机系统的运行。
情报服务局负责公共宣传，普及金融知识，保管图书及局、室及研究所的文献资料。
总务人事局负责与组织管理、执行会议有关的业务，人事工作及人力资源开发工作。
文书局负责有关不动产事务、办公用品、福利保健、安全保卫、文件整理、送达、保管等事务。
3、国内分支机构
日本银行在全国设置32家分行。包括钏路分行、札幌分行、函馆分行、青森分行、秋田分行、仙台分行、福岛分行、前桥分行、横滨分行、新泻分行、金泽分行、甲府分行、松本分行、静冈分行、名古屋分行、京都分行、大阪分行、神户分行、冈山分行、广岛分行、松江分行、下关分行、高松分行、松山分行、高知分行、北九州分行、福冈分行、大分分行、长
崎分行、熊本分行、鹿儿岛分行、那霸分行等。分行一般内设营业课、发行课、业务课、秘书课等。根据各分行的情况，也有将营业课与秘书课合并为总务课的情况。
4、海外派出机构
二、人员情况
根据“为实现简朴有效的政府而推进行政改革的法律”（2006年法律第47号）及“行政改革的重要方针”（2005年内阁决定），日本银行遵从2006年至2010年的5年内努力使人员数量减少5%以上的原则。2010年3月末，日本银行的常勤职员人数为4804人，比上年度增加了38人，主要是为应对严峻的经济金融形势而临时增加了一些雇员所致。总行和分行的人员分布具体如下：