Le reste de sa vie fut marquée tout d’abord par la célébration nationale de la première tentative japonaise de la conquête du pôle Sud. Dans la foulée du retour du Kainan-maru, le navire de l’expédition, le 19 juin 1912 à Yokohama, une immense parade de lanternes célébrant la « victoire » polaire du Japon est organisée à Tokyo. Mais le sentiment de liesse populaire fut brutalement interrompu par la mort du dernier empereur de l’ère Meiji le 30 juillet 1912, moins de six semaines après la parade. Pendant les cinq années suivantes un film et une exposition montrant les échantillons biologiques et géologiques recueillis pendant l’expédition firent le tour du Japon, avec à la clef des conférences de Shirase. Le souvenir populaire de l’aventure antarctique s’affadit cependant rapidement. Il fut toutefois relancé en 1927 par la visite de Roald Amundsen, le premier conquérant du pôle Sud, à la famille impériale du pays du soleil levant. Mais il fallut l’intervention du journal Höchi pour que Shirase soit officiellement invité par la famille impériale. La rencontre, émue, d’Amundsen et de Shirase fut l’occasion de rappeler que les officiers du Fram, le navire d’Amundsen, avaient exprimé leur admiration à Naokichi Nomura, le capitaine du Kainan-maru, pour savoir naviguer dans des mers hostiles à bord d’un si petit vaisseau, déclarant qu’eux-mêmes « ne se seraient pas aventurés à faire la moitié du chemin à bord d’un tel navire ». 

​

Puis Nobu Shirase dut surmonter les conséquences de la trahison du peu scrupuleux Keiicchi Tada, secrétaire de l’expédition antarctique. Après une première tentative infructueuse d’approcher la barrière de Ross (voir « Trois marins pour un pôle ») le Kainan-maru avait fait escale pour réparations à Sydney. Nomura et Tada embarquèrent sur un navire pour Tokyo afin de collecter, avec succès, des fonds pour financer une deuxième tentative. Celle-ci quitta Sydney le 19 novembre 1911, réussissant cette fois à entrer dans la baie des baleines et à s’amarrer sur la barrière de Ross non loin du Fram, le navire d’Amundsen. Lors de cette deuxième tentative, Shirase apprit que les expéditions d’Amundsen et de Scott étaient déjà en route pour le pôle Sud. Voulant sauver son honneur il organisa un raid sur la calotte glaciaire. Grâce à l’expertise des Aïnous (peuples des îles Kourilles) dans la conduite des chiens de traineaux, il atteignit en un temps record 80° de latitude sud. Pendant le voyage de retour Keiicchi Tada écrivit son propre rapport de l’expédition, dénigrant Shirase auprès du comte Okuma (2), sponsor de l’expédition. Il le publia dès le mois de juillet 1912, court-circuitant le chef de l’expédition, dont le rapport ne fut rendu public qu’en janvier 1913, publication tardive qui le priva de substantiels revenus.

​

Le dernier problème auquel Shirase dut faire face est celui du remboursement des dettes de l’expédition, un total de 40 000 yens, pour payer les salaires des marins et des expéditionnaires. Cela lui prit 23 années. Les retours financiers de sa vente d’ouvrages et les sommes recueillies lors de ses conférences étant notoirement insuffisants, il n’eut d’autre choix que de vendre sa propre maison, puis de diriger de 1921 à 1924 un élevage de renards à fourrure aux îles Chishima / Kourilles. Il ne lui resta pour survivre que sa maigre pension de l’armée et les légumes qu’il cultivait dans un jardin. Libéré de ses dettes en 1935 Nobu Shirase se réfugia de 1944 à 1945 à Konoura, dans l’enceinte du temple Jorenji où il était né. A la fin de la guerre, sa seconde fille Takado recueilli ses deux parents à Arashiyama puis à Koromo-machi, où elle espérait trouver quelque nourriture. Elle fut si rare que Shirase mourut de faim le 4 septembre 1946.