杜士元有关杜士元雕刻橄榄核的史料记载只有零星碎语，称有“穷极工巧之能事”，当地人称他之为“鬼工”。《履园丛话》记载杜士元所雕核舟，每枚值银50两。即使如此，人们依然趋之若鹜。因他的技艺高超，被乾隆帝征召至启祥宫，让他专为皇宫服务。据说他因被禁于皇宫之中，终日闷闷不乐，后来佯装疯癫，才被放归故里。常熟市博物馆有枚迄今仅见的杜士元制《渔乐图》橄榄核舟。核舟呈深枣红色，雕刻者就着橄榄核天然外廓弧线随形而雕刻出船底与船篷。橄榄核舟上，舱、篷、舟楫齐全，篷上镂空的鱼篓，船中数人大如米粒，有人晒网，有人烹茶，有人闲坐观天，一幅船上渔家其乐融融的生活场景。核舟底有“乾隆乙丑（1745年）造，仙传杜士元”行书雕款。此外，核舟另作水浪状象牙底座以作承托，座底还有行书雕款：“皮肉生来有益长，其中将他造船行。网船家家多子孙，渔翁得乐尝端阳。‘乾隆丁巳五月臣陈祖掌’款。”
