Skip to content

Commit

Permalink
Merge pull request #460 from haoxiuwen/doc-v2
Browse files Browse the repository at this point in the history
Add Keyword Review Doc
  • Loading branch information
haoxiuwen authored Oct 12, 2023
2 parents 257531a + d971cb2 commit 2158515
Show file tree
Hide file tree
Showing 14 changed files with 133 additions and 0 deletions.
1 change: 1 addition & 0 deletions docs/.vuepress/sidebar/index.ts
Original file line number Diff line number Diff line change
Expand Up @@ -51,6 +51,7 @@ export const zhSidebar = sidebar({
{ text: '规则配置', link: 'moderation/moderation_rule_config.html' },
{ text: '规则测试', link: 'moderation/moderation_rule_test.html' },
{ text: '历史记录', link: 'moderation/moderation_history.html' },
{ text: '关键词审核', link: 'moderation/keyword_review.html' },
{ text: '消息审核机制', link: 'moderation/moderation_mechanism.html' },
]},
{ text: '进阶功能', collapsible: true, children: [
Expand Down
132 changes: 132 additions & 0 deletions docs/product/moderation/keyword_review.md
Original file line number Diff line number Diff line change
@@ -0,0 +1,132 @@
# 关键词审核

关键词审核是一种基础的文本审核方式,通过对文本消息内容中的关键词进行识别与过滤,可快速发现和过滤不合规的文本。关键词精准匹配可解决简单的内容过滤需求,例如不允许出现国家领导人姓名。如果应用中的违规内容较复杂,存在较多**变体**等情况,建议结合 AI 模型审核实现更全面、更准确的内容审核。

下表为关键词审核与 AI 审核的区别。

| 审核类型 | 应用场景 | 审核机制 | 审核范围 | 收费机制 |
| :-------------- | :----- | :------- | :------- | :------------------ |
| 关键词审核 | 简单的文本内容过滤需求。 | 1. 你需创建黑白名单,填写关键词,设置对含有关键词的消息的审核建议。<br/> 2. 在文本审核规则中选择使用关键词审核。 | 支持从客户端 SDK 发送的文本消息。 | 按月收费。 |
| AI 模型审核 | 各种场景的全消息类型的全方位内容审核。 | 基于业界先进的语义模型和海量的多语种样本库,有效识别各类场景中的风险文本内容。你需在文件审核规则中选择 AI 模型和关键词名单配合使用。 | 支持从客户端 SDK 发送的文本、图片、音频和视频消息。详见[内容审核产品介绍](moderation_overview.html)| 按量计费,详见[内容计费说明](moderation_billing_domestic.html)|


## 使用关键词审核

要使用关键词审核,需按以下步骤操作:

1. [开通文本审核](moderation_enable.html)
2. 开通关键词审核。
3. 配置关键词名单。
4. 在文本审核规则中应用关键词名单。

### 第一步 [开通文本审核](moderation_enable.html)

1. 在环信控制台首页,选择目标应用,然后选择**即时通讯** > **功能配置** > **功能配置总览**

2.**功能配置总览**页面上,点击**内容审核**页签。点击**文本审核**对应的**操作**栏中的**开通**

### 第二步 开通关键词审核

:::notice
关键词审核功能为增值服务,需单独购买。服务开通后立即扣费,自动续费。
:::

1. 在环信控制台首页,选择目标应用,然后选择**即时通讯** > **功能配置** > **功能配置总览**

2.**功能配置总览**页面,点击**内容审核**页签。点击**关键词审核**对应的**操作**栏中的**开通**

3.开通后,点击**关键词审核**对应的**操作**栏中的**配置**,进入**关键词名单**页面。

![img](@static/images/moderation/keyword_enable.png)

![img](@static/images/moderation/keyword_keywordreview.png)

### 第三步 配置关键词名单

1. 选择**即时通讯** > **内容审核** > **关键词审核**配置关键词名单。

:::notice
1. 关键词名单包含白名单和黑名单,即**审核意见**参数为**忽略**时为白名单,设置为**疑似****拒绝**时为黑名单。
2. 每个应用最多可配置 10 个名单, 每个名单最多可添加 10,000 个关键词,即每个应用最多可配置 100,000 个词条。添加的关键词在 10 分钟后生效。
:::

2. 单击**创建黑/白名单**,填写名单信息。

![img](@static/images/moderation/keyword_create.png)

创建黑/白名单,需配置以下参数:

| 字段 | 描述 |
| :------------------- | :----------------------------------------------------------- |
| **名单名称** | 关键词名单的名称,不能超过 32 个字符。 |
| **审核建议** | 对关键词的审核结果,包括:<br/> • **忽略**:表示关键词合法。<br/> • **疑似**:表示关键词可能非法。<br/> • **拒绝**:表示关键词非法。 |
| **生效范围** | 关键词审核规则的应用范围,包括:<br/> • **全部**:所有会话,包含单聊、群聊和聊天室。<br/> • **单聊**<br/> • **群聊**<br/> • **聊天室** |
| **关键词** | 该规则中的关键词。每个关键词的长度不能超过 128 个字符;一次最多可添加 200 个词条,每行一个词条。 |

3. 点击**确定**保存配置。

名单创建成功后会显示在名单列表中,默认为开启状态。若不需要使用该名单,可以在**状态**栏中将其关闭。

![img](@static/images/moderation/keyword_creationsuccess.png)

4. 添加关键词。

创建关键词名单后,你可以在名单列表上选择**更多** > **进入名单**.

![img](@static/images/moderation/keyword_creationsuccess.png)

选择通过手动添加或文件导入方式添加关键词。

![img](@static/images/moderation/keyword_addword.png)

- 手动添加

单击**添加关键词**,手动输入关键词。单次最多添加 200 个词条。

![img](@static/images/moderation/keyword_manualadd.png)

- 文件导入

单击**文件导入**,然后选择文件上传。

:::notice
支持 .txt 格式的纯文本文件,每个文件不能超过 2 MB。<br/>
文件上传后应确保单个名单的词条总数不超过 10,000,否则超出部分将添加失败。
:::

![img](@static/images/moderation/keyword_fileimport.png)

5. 可根据业务实际需要,搜索名单或关键词。

- 名单搜索:在名单列表页面搜索名单名称,精确匹配,需输入完整的名单名称。
- 关键词搜索:进入指定的关键词名单列表,输入关键字即可搜索出包含该关键字的所有关键词,支持模糊匹配。

你也可点击**逐个删除****批量删除**删除关键词名单中的词条。

![img](@static/images/moderation/keyword_search_delete.png)

### 第四步 在文本审核规则中应用关键词名单

文本审核开通后,默认会生成 3 条规则。本节以默认的单聊文本规则为例,介绍如何文本审核规则中应用关键词名单。

![img](@static/images/moderation/keyword_rulelist.png)

1. 点击默认的单聊文本规则的**操作**栏中**更多** > **编辑**,进入**编辑规则**对话框。

![img](@static/images/moderation/keyword_singlechatrule.png)

2. 配置使用关键词名单。

- **模型选择**:如果仅使用关键词审核,则选择**仅关键词名单,无需模型**;如果需同时使用关键词审核和 AI 模型审核,则选择**AI模型+关键词名单**

- **启用规则**:文本审核规则默认为关闭状态,点击开关即可启用。开启后**服务状态**显示为**启用**

- **消息处理****消息处理**所列的审核结果与关键词名单中的**审核建议**的配置相对应。
-**审核建议****拒绝****消息处理**默认为**拦截**,即不下发给接收方。如需将消息中的命中词条替换为 * 后再下发,则配置为**替换为*****
-**审核建议****疑似****消息处理**默认为**拦截**,即不下发给接收方。若配置为**通过**,则直接下发消息。

- 其他参数配置详见[规则配置说明](moderation_rule_config.html)

### 使用示例

发送文本消息时,若消息内容中包含关键词名单中的关键词而且文本审核规则中的**消息处理**配置为**拦截**,则消息发送失败,SDK 返回错误码 508;如规则配置为`替换为***`,则关键词会被替换为`***`,再将替换后的内容发送至接收方。
Binary file added docs/product/moderation/moderation_enable_03.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/images/moderation/keyword_addword.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/images/moderation/keyword_create.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/images/moderation/keyword_enable.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/images/moderation/keyword_fileimport.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/images/moderation/keyword_listentry.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/images/moderation/keyword_manualadd.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Binary file added static/images/moderation/keyword_rulelist.png
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.
Loading
Sorry, something went wrong. Reload?
Sorry, we cannot display this file.
Sorry, this file is invalid so it cannot be displayed.

0 comments on commit 2158515

Please sign in to comment.