日本在本届巴黎奥运会的三大球比赛中，共派出六支队伍参赛，成功获得全部参赛资格。这是亚洲国家首次以非东道主身份在奥运会"三大球"项目上获得全部参赛席位。截至目前，男篮、男足、女足、女篮、女排已经全部出局，只有男排尚未被淘汰。

日本男篮在小组赛中三战皆负（分别输给德国、法国、巴西），净胜分为负42分，排名小组垫底，无缘晋级。日本男排在小组赛中取得1胜2负的成绩（分别输给德国、美国），以小组第三的最好成绩压线晋级，将在1/4决赛中对阵意大利男排。日本男足在小组赛中三战全胜，以第一名的成绩出线，但在1/4决赛中以0-3不敌西班牙被淘汰。

日本女篮在小组赛中三战全负（分别输给美国、德国、比利时），净胜分为负64分，排名小组垫底，无缘晋级。日本女排在小组赛中取得1胜2负的成绩（分别输给巴西、波兰），最终无法突围，连续两届奥运会止步小组赛。日本女足在小组赛中取得2胜1负的成绩，以第二名的身份晋级，但在1/4决赛中加时赛中以0-1不敌美国女足而被淘汰。