小-矶国昭乃是山形县人，警察小-矶进长子。曾就读于山形县中学校（山形县立山形东高等学校）。他作为家里的长子中学毕业后觉得考大学（高等学校）希望不太大，家里也没什么资产可以让自己继承，但自己的身体还比较健壮。当时日本刚刚打完了甲午战争，由于俄德法三国干涉丢掉了已经到手的辽东半岛，全国掀起了一股从军强国的风潮。

因此小-矶也在这股风潮影响下报考了陆军士官学校，以军人作为自己的志向。按照日本陆军的规定，像他这样的中学校毕业生要在当年12月份以一等兵的军衔进入部队，经过一年的服役训练后军衔晋升为军曹才能进入东京的士官学校学习。

士官学校学习期限为一年半，毕业后军衔晋升为曹长回原联队。小-矶在陆士12期毕业时的成绩还比较靠前，655人中排第79名，虽然比不上同期的杉山元和畑俊六，可作为一名没上过陆幼的学生来说也不容易了。毕业后回先前服役的步兵第30联队又当了半年随队候补生才被授予少尉军衔。联队长古谷安民大佐（陆士旧3期）按常规召集第30联队全员宣布授予小-矶国昭步兵少尉军衔并任联队附。

经过三年的奋斗，小-矶总算成为了一名军官。参加日俄战争，1906年3月任步兵第30联队大尉中队长。1907年考入陆军大学校第22期，同期生中有杉山元、畑俊六、西尾寿造，还有北白川宫能久亲王的长子竹田宫、儿玉源太郎大将的三儿子儿玉友雄。毕业时小-矶的成绩一般，51人中排第33名。加上他又不是长洲藩出身，所以毕业后分配没去成中央机关，下放到陆士当教官。

小-矶国昭于1912年任关东都督府参谋，提出了加强日本对中国东北统治的重要建议，受到田中义一的赏识。1914年（大正三年）8月任步兵第2联队大队长，晋少佐，1915年1月18日，袁世凯与日本签订“二十一条”卖国条约，5月，公开推行帝制运动，中国各地掀起了反袁运动。

而日本统治集团也认为“袁世凯退出中国当政者集团为妥”，想在袁世凯倒台后，树立一个在日本控制下的中国-政府，以便随意宰割中国。与此同时，日本政府策划了第二次“满蒙-独立”运动，日本参谋本部由参谋次长田中义一和刚从关东都督府参谋长调任参谋本部第二部部长的福田雅太郎为直接幕后指挥者，为了就地指导“满蒙-独立”运动举事成功，日本参谋本部于1916年3月中旬派出了土井市之进大佐、小-矶国昭少佐、松-井清助大尉、铃木晟太郎一等主计等4人，前往中国东北。