Appearance
在采集分页加载或动态刷新的数据时,可能会遇到重复内容。通过“主键设置”功能,您可以将一个或多个字段(如 商品ID、文章链接)指定为主键。穿山甲在采集过程中会自动检查主键值,如果发现即将采集的数据与已有数据的主键值重复,则会智能跳过,从而确保最终得到的数据集是干净、无重复的。
商品ID
文章链接
设为主键