在大正时代日本犬保护活动开始的时候，由于以毛色为赤色的猎犬的血统保护为重点。赤色也是在山中最不显眼的毛色，因此猎户也喜欢用赤色的猎犬。
故柴犬以赤色居多，占据了80%，黑柴次之，约10%，白柴7%，胡麻柴仅占约3%。
柴犬的毛色无法用人工刻意培育出来，即使黑柴配黑柴，也不见得会生出黑色柴犬，反而白柴比较容易是由两只黑色柴犬交配而来。
柴犬的刚毛，接近皮肤的毛根处颜色最浅，末端颜色鲜明，毛尖处转浅或转更深皆正确。从毛根到毛尾若颜色都相同、毫无深浅浓淡者，其血统纯正度会受到质疑。
无论哪种毛色，「裹白」为重要特征。双颊、下颚、颈下、胸前、腹部、四肢内侧需反白。
赤色是柴犬里面最常见的颜色，身上看起来夹杂些许黑毛是被允许的。
赤色与裹白对比，看起来很美丽，能够使人感受到狗狗的风度。
因为这种黄色毛与干枯的草是同种颜色的缘故，柴犬也被称为芝犬，但最终被称作柴犬。
有的狗狗会出现黑色杂毛，很多狗狗的毛从前端到根部，颜色没有浓淡变化，80%以上的柴犬都是此种没浓淡变化的毛色。
黑柴虽然没有像赤柴那么普遍，但也是常见的柴犬色种之一。
黑柴的黑毛并不是全黑色，而是带有少量被称为铁锈色的褐色的纵深色调。
从表面看毛色乌黑而又有光泽，也有人评价此种类型的柴犬毛色朴素而粗野。
以眼睛上带有黄褐色为特征，形状清晰的方形备受喜爱，亦被称为“四目”，其中黄褐色的部分被称为“疸”，在眼睛上方、脸颊、嘴边、四肢等处一定会有。
黑柴是仅次于赤柴的人气毛色。
胡麻色比较特别，是指由赤色、白色、黑色的毛适当混合而成的毛色，可以说赤柴+白柴+黑柴=胡麻柴。
胡麻色柴犬毛中含有柴犬的全部毛色，是在颜色细微的均衡中而形成的毛色。
胡麻色非常罕见，胡麻色的柴犬仅有2.5%左右，因为较为珍贵，价格也更高。
与其他毛色的毛相比，胡麻色柴犬的毛质稍长。因为是非常结实的硬毛，所以多数胡麻色的柴犬毛质良好。
赤色居多的芝麻色毛被称为赤胡麻；
黑色居多的芝麻色毛被称为黑胡麻；
白色居多的芝麻色毛被称为银胡麻，不过现在很少见到。
白色毛中像纯白那样的颜色很少，多数是在耳朵和背部会微微地混杂颜色较淡的橙黄色毛。
有的狗狗尽管在幼犬时期毛色接近纯白色，随着成长也会慢慢地发生变化。
白柴的鼻头易有黑色素不足，而颜色略淡呈粉色的现象。
白柴被繁育出来的几率比赤柴和黑柴的几率要小，所以白柴也算是“相对珍贵”的柴犬。
但白柴的毛色被认为是“失格色”，美国犬业联盟认为白柴有隐性基因缺陷不给与参赛资格，白柴相对来说是四个颜色中最便宜的一种，但这只是在国内的情况。
柴犬身体上白色的部分被称为“裹白”，也叫“里白”，也就是从下巴开始贯穿全胸一直到后足的部分。
无论是赤柴、白柴、黑柴还是胡麻柴都有裹白，这是柴犬的一大特征，裹白以不损害柴犬身上现有毛色为理想形态。