语音机器人开发

耗尽温柔 提交于 2019-12-22 12:38:12

服务机器人缺少了语音交互的话,就会让人觉得不像个机器人。在当前非常多的服务机器人上,语音交互成为一个非常大的亮点。

当然如果我们从头做起,这样就太麻烦,还好当前有很多公司提供了解决方案。科大讯飞、百度语音等都提供了非常好的语音识别和语音合成工具。

1.1 简介

这里我采用图灵机器人作为语义理解的工具,搭建一个语音机器人。

具体可以参考图灵机器人官网http://www.tuling123.com/help/h_cent_andriodsdk.jhtml?nav=doc

大致框架如下:

1.2 概念解释

(1)语音识别:Automatic Speech Recognition(ASR),也称自动语音识别,其目标是将人类的语音中的词汇内容转换相应的文本。

(2)自然语言理解:Natural Language Understanding(NLU),俗称人机对话,是人工智能的分支学科。本学科通过电子计算机模拟人的语言交际过程,从而使计算机能理解和运用人类社会的自然语言,实现人机之间的自然语言通信,进而代替人的部分脑力劳动,包括查询资料、解答问题、摘录文献、汇编资料以及一切有关自然语言信息的加工处理。

(3)TRClient:TRClient 是一个封装了语音采集、处理、网络收发、语义理解等功能的语音识别和语义解析整体解决方案。

(4)应用程序:在开发中使用了 TRClient,具有语音识别功能的产品线产品。

1.3功能介绍

(1)语音识别:将语音识别成相应的文本。

(2)语义理解:将文本识别成领域相关的语义结果。

(3)语音合成 : 将文本转化成语音读出

1.4 环境搭建

1.4.1 添加TRClient到工程

1. 添加libs到工程

开发者需要将Demo包中的libs目录整体Copy到工程目录,Libs目录包括了语音识别合成所需的so库以及jar包

对于android studio的操作环境,配置jar包和so文件,

Jar包拷贝入app->libs文件

 

在android studio中添加 file->project structure添加jar目录

 

在app->src->main->jniLibs新建当前目录,copy->armeabi的so文件

 

 

1.4.2 权限声明

名称

用途

android.permission.RECORD_AUDIO

允许使用麦克风录音

android.permission.INTERNET

允许联网,发送语音数据至服务器,获得识别结果

android.permission.ACCESS_NETWORK_STATE

允许获取当前网络状态,优化录音参数及网络参数

android.permission.READ_PHONE_STATE

允许获取用户手机的电话状态信息

android.permission.MODIFY_AUDIO_SETTINGS

允许蓝牙录音

android.permission.BROADCAST_STICKY

某些手机启动 SCO 音频连接需要此权限

android.permission.BLUETOOTH

允许蓝牙录音检测耳机状态

android.permission.WRITE_SETTINGS

允许修改和读取系统配置信息

android.permission.WRITE_EXTERNAL_STORAGE

允许向存储设备中写入

需要在 AndroidManifest.xml 文件, 增加以上七个权限:

<uses-permission android:name="android.permission.RECORD_AUDIO" />

    <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE" />

    <uses-permission android:name="android.permission.INTERNET" />

    <uses-permission android:name="android.permission.READ_PHONE_STATE" />

    <uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS" />

    <uses-permission android:name="android.permission.BROADCAST_STICKY" />

    <uses-permission android:name="android.permission.BLUETOOTH" />

    <uses-permission android:name="android.permission.WRITE_SETTINGS"/>

    <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE" />

    <uses-permission android:name="android.permission.READ_CONTACTS" />

如果需要使用蓝牙设备作为输入源, 需要额外在AndroidManifest.xml 文件添加下列权限:

<uses-permission android:name="android.permission.MODIFY_AUDIO_SETTINGS"/>

<uses-permission android:name="android.permission.BROADCAST_STICKY "/>


<uses-permission android:name="android.permission.BLUETOOTH "/>

1.4.3 Progurad配置

如果应用配置了代码混淆, 需要在 Proguard配置文件增加以下参数:

-keep class com.baidu.android.**{*;}

-keep class com.baidu.voicerecognition.android.**{*;}           

-keep class com.turing.androidsdk.**{*;}           

1.5语音识别

语音识别部分主要包括以下四个步骤

1.5.1 实例化VoiceRecognizerManager

实例化VoiceRecognizerManager,由于目前我们使用百度ASR方式,使用百度ASR,使用构造方法:


VoiceRecognizerManager(Context context,String bdAPI_KEY,String bdSECRET_KEY)               

参数: bdAPI_KEY和bdSECRET_KEY           

这里的bdAPI_KEY和bdSECRET_KEY,需要自己到百度官方去申请,位置如图所示:


百度语音开放平台的网址为:http://yuyin.baidu.com/


1.5.2 设定ASR状态监听

设定ASR状态监听

示例:VoiceRecognizerManager.setVoiceRecognizeListener(listener);

这个listener就是需要实现接口VoiceRecognizeListener,在不同的识别状态下回调其不同的方法。

1.5.3 调用语音识别方法

调用语音识别方法

              VoiceRecognizerManager.startRecognize();

这个方法就是开始进行识别

1.5.4 获取识别结果

获取识别结果,在步骤2里listener的回调方法onRecognizeResult中获取识别结果。

 public void onRecognizeResult(String result)    

{               

handleRecognizeResult(result);

}

   这里的result就是返回的结果

1.6 语义理解

语义理解部分主要包括以下四个步骤

1.6.1 SDKInit类

SDKInit类初始化

调用SDKInit.init

                public static void init(SDKInitBuilder builder,InitListener initListener)

          

参数:(1)SDKInitBuilder是封装了初始化的各种参数,这个类的变量说明

         Contex为上下文

          Secret为官网上机器人详情页中自动生成的一个secret(默认采用非加密模式,若采用加密模式时才开启),如下图

         turingKey为该机器人帐号的apikey,可在“机器人详情”页获取

         uniqueId为自己添加的一个标示符,如邮箱、手机号等等

(2)参数InitListener是一个初始化后回调方法的接口

         onComplete()是成功后,回调的方法

         onFail(java.lang.String error)是失败后,回调的方法

1.6.2 实例化TuringApiManager类

实例化TuringApiManager类

这里一定要在上一步SDKInit初始化成功后,再初始化TuringApiManager,否则很多功能将无法使用

推荐的代码:

                

onComplete()

{

TuringApiManager m = new TuringApiManager (this);

}

1.6.3 设置监听

添加监听:

                

public void setHttpListener(HttpConnectionListener httpConnectionListener)

参数:httpConnectionListener用于监听联网请求结果的回调

代码形式如下:               

TuringApiManager m = new TuringApiManager (this);

               

m.setHttpListener(httpConnectionListener);

其中httpConnectionListener就是实现接口HttpConnectionListener

               

1.6.4 发出请求

发出请求

      public void requestTuringAPI(String requestInfo)

参数:requestInfo为传递的文本

比如requestInfo = “你好”,那么在上一步的public void onSuccess(RequestResult result) 中result可以得到一串json字符串,其中json字符串根据不同的类型会有不同的格式

1.7 语音合成(TTS)

语音合成部分主要包括以下四个步骤

1.7.1 实例化TTSManager类

实例化TTSManager类

该类为语音合成的管理类,要使用语音合成功能,首先要创建TTSManager的对象实例

选用百度在线TTS,其构造函数如下:               

public TTSManager(Context context, String bdAPI_KEY, String bdSECRET_KEY)     

这里的bdAPI_KEY和bdSECRET_KEY

1.7.2 设置监听

添加监听:

     TTSManager.setTTSListener(mTTSListener)

     mTTSListener需要实现接口TTSListener ,可以在不同的语音合成状态下回调其不同的方法

1.7.3 开始语音合成

调用TTSManager.startTTS(String ttsContent) 方法来进行语音合成

参数:ttsContent就是需要被合成的文本,比如 ttsContent=“你好”,那么就会读出 你好。

1.7.4 处理合成完成

语音合成后,就会触发onSpeechFinish(),这样即可在其方法中添加相应的逻辑。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!