Skip to content

主键设置:智能去重

在采集分页加载或动态刷新的数据时,可能会遇到重复内容。通过“主键设置”功能,您可以将一个或多个字段(如 商品ID文章链接)指定为主键。穿山甲在采集过程中会自动检查主键值,如果发现即将采集的数据与已有数据的主键值重复,则会智能跳过,从而确保最终得到的数据集是干净、无重复的。

操作步骤:

  1. 在数据预览区的表头上,找到您希望作为唯一标识的字段。
  2. 点击该字段的列标题。
  3. 在弹出的菜单中,选择 设为主键
  4. 设置成功后,软件会根据当前字段值,进行去重。

main