Всемирно-известный торговец антиквариатом и предметами искусства, Генри увлекался также редкими почтовыми марками. Первой коллекцией марок, купленной им, была генеральная коллекция Денди Сэдлера, которую Генри приобрел в 1892 г. В последующие годы он покупал частями или целиком коллекции марок многих знаменитых филателистов того времени - Брейтфуса, Эвери, Касла, Уортингтона, Джеймса Линдсей и Джона Сейболда.

Для своей коллекции Генри приобретал только негашеные марки 1840-1896 гг. выпуска, выбирал экземпляры в первозданном состоянии, хотя если в негашеном виде марку было трудно найти - он покупал и гашеные. Его коллекция содержала большое количество крупных блоков и полных листов почтовых марок. Среди многих редкостей в его коллекции были 4 марки Маврикия 1847 г. с надписью Post Office, знаменитая уникальная пара двухцентовок Cottonreels Британской Гвианы на конверте. Этот конверт Генри приобрел у компании Стэнли Гиббонс за сумму, превышающую $ 3000.

В 1903 г. его коллекцию почтовых марок называли одной из лучших в мире. Генри Дювин был лично знаком с Георгом V и Николаем II. Он провел много вечеров в Букингемском Дворце, разбирая филателистический материал Королевской коллекции.

Коллекция марок Дювина после его смерти в 1919 г. была оценена в $ 5000000. Некоторые редкости из этой коллекции были проданы королю Георгу V, и сейчас являются частью знаменитой Королевской коллекции. Оставшаяся часть была продана в Нью-Йорке в 1923 г.