Барон Митсуи был одним из самых известных японских филателистов и писателей. Свою первую статью он опубликовал в возрасте 16 лет, она была посвящена почтовым маркам Нидерландов. Он серьезно увлекался почтовыми марками Японии, а также Германии и Австрии.

В 1923 г. он основал Японский Филателистический Журнал. Он писал статьи практически для каждого выпуска журнала. В 1939 г. он был избран первым президентом Японской Ассоциации Коллекционеров Марок. В 1950 г. он основал Институт Филателистических Исследований Японии и начал издавать одноименный журнал. Последняя статья для журнала была написана им в конце 1982 г. Он был автором многих книг, среди которых были как книги для начинающих коллекционеров, так и для специалистов в области Японской и Европейской филателии.

Барон Митсуи был официальным советником Министерства Связи и Министерства Почтовых Услуг Японии более 40 лет. Свои многочисленные коллекции он завещал Музею Связи в Токио.