使用讯飞实现语音听写与语音合成功能
一、准备工作
1、首先你需要去科大讯飞的官网去注册一个账号,怎么注册我就不说了,然后去控制台,创建新应用。
2、下载对应的sdk,点击sdk下载,记住这里的APPID码,sdk初始化要用。
3、下载语音听写和在线语音合成对应的sdk(离线的语音听写需要手机安装语+这个软件才能用,离线语音合成收费,我就没考虑)
4、将压缩文件中的assets和lib放到项目中,需要注意的是如果是Android studio项目,lib文件夹中的.so相关文件夹都应该放在jniLibs文件夹里,直接放到libs下无法识别。
二、SDK初始化
与大部分的sdk一样越早初始化越好,免得用的时候忘了,初始化失败导致调用不成功,所以我选择在自定义的application中初始化,代码如下:
public class MyApplication extends Application { @Override public void onCreate() { /* 应用程序入口处调用,避免手机内存过小,杀死后台进程后通过历史intent 进入Activity造成SpeechUtility对象为null*/ /* 注意:此接口在非主进程调用会返回null对象,如需在非主进程使用语音功能, 请增加参数:SpeechConstant.FORCE_LOGIN+"=true" 参数间使用“,”分隔。 设置你申请的应用appid*/ // 注意: appid 必须和下载的SDK保持一致,否则会出现10407错误 StringBuffer param = new StringBuffer(); param.append("appid="+getString(R.string.app_id)); param.append(","); // 设置使用v5+ param.append(SpeechConstant.ENGINE_MODE+"="+SpeechConstant.MODE_MSC); SpeechUtility.createUtility(MyApplication.this, param.toString()); super.onCreate(); } }
三、语音听写功能
1、使用讯飞提供的UI
i.定义语音听写UI控件
//语音听写UI private RecognizerDialog reDialog;
ii.定义语音听写初始化监听,监听初始化是否成功
/** * 语音听写初始化监听器。 */ private InitListener mInitListener = new InitListener() { @Override public void onInit(int code) { Log.d("zhangdi", "SpeechRecognizer init() code = " + code); if (code != ErrorCode.SUCCESS) { showTip("初始化失败,错误码:" + code); } } };
iii.初始化语音听写UI
// 初始化听写Dialog,如果只使用有UI听写功能,无需创建SpeechRecognizer // 使用UI听写功能,请根据sdk文件目录下的notice.txt,放置布局文件和图片资源 reDialog = new RecognizerDialog(this,mInitListener);
iv.定义听写UI的听写回调监听
/** * 听写UI监听器 */ private RecognizerDialogListener mRecognizerDialogListener = new RecognizerDialogListener() { @Override public void onResult(RecognizerResult results, boolean b) { //正确回调 Log.d("zhangdi", "recognizer result:" + results.getResultString()); //解析返回的json字符 String text = JsonParser.parseIatResult(results.getResultString()); //将返回的结果显示在edittext中 resultText.append(text); resultText.setSelection(resultText.length()); } /** * 识别回调错误. */ public void onError(SpeechError error) { if(mTranslateEnable && error.getErrorCode() == 14002) { showTip( error.getPlainDescription(true)+"\n请确认是否已开通翻译功能" ); } else { showTip(error.getPlainDescription(true)); } } };
v.在语音听写对应的按钮点击事件中显示UI
// 显示听写对话框 reDialog.setListener(mRecognizerDialogListener); reDialog.show(); showTip(getString(R.string.text_begin));
2.使用自己的UI界面
i.定义语音听写对象
//语音听写对象 private SpeechRecognizer recognizer;
ii.定义语音听写初始化监听,监听初始化是否成功
/**
* 语音听写初始化监听器。
*/
private InitListener mInitListener = new InitListener() {
@Override
public void onInit(int code) {
Log.d("zhangdi", "SpeechRecognizer init() code = " + code);
if (code != ErrorCode.SUCCESS) {
showTip("初始化失败,错误码:" + code);
}
}
};
iii.初始化听写对象
// 初始化识别无UI识别对象 // 使用SpeechRecognizer对象,可根据回调消息自定义界面; recognizer = SpeechRecognizer.createRecognizer(this, mInitListener);
iv.对听写对象进行参数设置
/** * 参数设置 * @return */ public void setParamRecognizer(){ // 清空参数 recognizer.setParameter(SpeechConstant.PARAMS, null); // 设置引擎,目前只支持云端模式,本地模式需要手机安装语+软件才能用 recognizer.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD); // 设置返回结果格式 recognizer.setParameter(SpeechConstant.RESULT_TYPE, "json"); // 设置语言 recognizer.setParameter(SpeechConstant.LANGUAGE, "zh_cn"); // 设置语言地区,普通话 recognizer.setParameter(SpeechConstant.ACCENT, "mandarin"); // 设置语音前端点:静音超时时间,即用户多长时间不说话则当做超时处理 recognizer.setParameter(SpeechConstant.VAD_BOS, "4000"); // 设置语音后端点:后端点静音检测时间,即用户停止说话多长时间内即认为不再输入, 自动停止录音 recognizer.setParameter(SpeechConstant.VAD_EOS, "1000"); // 设置标点符号,设置为"0"返回结果无标点,设置为"1"返回结果有标点 recognizer.setParameter(SpeechConstant.ASR_PTT, "1"); // 设置音频保存路径,保存音频格式支持pcm、wav,设置路径为sd卡请注意WRITE_EXTERNAL_STORAGE权限 // 注:AUDIO_FORMAT参数语记需要更新版本才能生效 // recognizer.setParameter(SpeechConstant.AUDIO_FORMAT,"wav"); // recognizer.setParameter(SpeechConstant.ASR_AUDIO_PATH, Environment.getExternalStorageDirectory()+"/msc/iat.wav"); }
v.在语音听写对应的按钮事件中为听写对象设置回调监听
recognizer.startListening(new RecognizerListener() { @Override public void onVolumeChanged(int i, byte[] bytes) { Log.i("zhangdi","i = "+i+"bytes = "+bytes.toString()); } @Override public void onBeginOfSpeech() { showTip("开始说话"); } @Override public void onEndOfSpeech() { showTip("结束说话"); } @Override public void onResult(RecognizerResult recognizerResult, boolean b) { resultText.append(recognizerResult.getResultString()); } @Override public void onError(SpeechError speechError) { showTip(speechError.getErrorDescription()); } @Override public void onEvent(int i, int i1, int i2, Bundle bundle) { Log.i("zhangdi","i = "+i+" i1 = "+i1+" i2 = "+i2); } });
四、语音合成功能
1.定义语音合成对象
// 语音合成对象 private SpeechSynthesizer mTts;
2.语音合成初始化监听
/** * 语音合成初始化监听。 */ private InitListener mTtsInitListener = new InitListener() { @Override public void onInit(int code) { Log.d("zhangdi", "InitListener init() code = " + code); if (code != ErrorCode.SUCCESS) { showTip("初始化失败,错误码:"+code); } //else { // 初始化成功,之后可以调用startSpeaking方法 // 注:有的开发者在onCreate方法中创建完合成对象之后马上就调用startSpeaking进行合成, // 正确的做法是将onCreate中的startSpeaking调用移至这里 //} } };
3.初始化语音合成对象
// 初始化合成对象 mTts = SpeechSynthesizer.createSynthesizer(this, mTtsInitListener);
4.为语音合成对象设置参数
private void setParamTTS() { // 清空参数 mTts.setParameter(SpeechConstant.PARAMS, null); //设置使用云端引擎,本地语音合成是收费的,所以忽略了 mTts.setParameter(SpeechConstant.ENGINE_TYPE, SpeechConstant.TYPE_CLOUD); //设置发音人 mTts.setParameter(SpeechConstant.VOICE_NAME,voicerCloud); //设置合成语速 mTts.setParameter(SpeechConstant.SPEED, "50"); //设置合成音调 mTts.setParameter(SpeechConstant.PITCH, "50"); //设置合成音量 mTts.setParameter(SpeechConstant.VOLUME, "50"); //设置播放器音频流类型 mTts.setParameter(SpeechConstant.STREAM_TYPE, "3"); // 设置播放合成音频打断音乐播放,默认为true mTts.setParameter(SpeechConstant.KEY_REQUEST_FOCUS, "true"); }
5.定义语音合成监听回调
/** * 合成回调监听。 */ private SynthesizerListener mTtsListener = new SynthesizerListener() { @Override public void onSpeakBegin() { showTip("开始播放"); } @Override public void onSpeakPaused() { showTip("暂停播放"); } @Override public void onSpeakResumed() { showTip("继续播放"); } @Override public void onBufferProgress(int percent, int beginPos, int endPos, String info) { // 合成进度 mPercentForBuffering = percent; showTip(String.format(getString(R.string.tts_toast_format), mPercentForBuffering, mPercentForPlaying)); } @Override public void onSpeakProgress(int percent, int beginPos, int endPos) { // 播放进度 mPercentForPlaying = percent; showTip(String.format(getString(R.string.tts_toast_format), mPercentForBuffering, mPercentForPlaying)); } @Override public void onCompleted(SpeechError error) { if (error == null) { showTip("播放完成"); } else if (error != null) { showTip(error.getPlainDescription(true)); } } @Override public void onEvent(int eventType, int arg1, int arg2, Bundle obj) { // 以下代码用于获取与云端的会话id,当业务出错时将会话id提供给技术支持人员,可用于查询会话日志,定位出错原因 // 若使用本地能力,会话id为null // if (SpeechEvent.EVENT_SESSION_ID == eventType) { // String sid = obj.getString(SpeechEvent.KEY_EVENT_SESSION_ID); // Log.d(TAG, "session id =" + sid); // } } };
6.在语音合成对应按钮的点击事件中为语音合成对象设置监听
int code = mTts.startSpeaking(text, mTtsListener); if (code != ErrorCode.SUCCESS) { showTip("语音合成失败,错误码: " + code); }