开发文档
总目录
接入常见问题
开发者平台使用帮助
HTTP API接口文档
Chatbot接口指令说明文档
Android SDK用户接入指南
微信公众号客服机器人接入教程
灵聚智能助理app开源说明文档
直播数字人系统用户评论回复接口开发文档
灵聚自定义对话训练API接口说明文档
本站点使用 MrDoc 构建
-
+
Android SDK用户接入指南
# Android SDK用户接入指南 ## 1\.概述 - 本文档是开发android对话机器人程序的用户指南,通过集成我司智能引擎sdk实现对中文文本进行语义分析和理解并得到相应的指令及应答回复。本sdk还将加入讯飞语音sdk,方便部分对语音集成陌生的用户接入。 - 本文档示例采用的开发工具为Android studio,Eclipse的用户请慎重选择。 - SDK适用的android版本:android4\.0\.3及以上。 - Demo的测试机器不限,但为了提升效率,建议您使用真机测试。 ## 2\.集成说明 ### 概要 本章节通过对导入sdk、添加权限、集成流程、混淆打包、使用声明来阐述集成灵聚sdk的过程,具体操作请参见具体章节内容。 ### 2\.1 导入sdk - 在AS中new Project, 如果您已有项目请跳过此步。New Project的后续步骤略。  - Project新建完成后,将开发工具包中libs下的文件复制到你当前Project的libs下,如图:  - 下一步修改build\.gradle文件,修改以下三处配置: ``` repositories { flatDir { dirs 'libs' } } dependencies { compile fileTree(dir: 'libs', include: ['*.jar']) compile(name: 'AIEngine', ext: 'aar') compile 'de.greenrobot:eventbus:2.4.0' compile 'com.android.support:appcompat-v7:22.2.0' compile 'com.android.support:recyclerview-v7:22.2.0' //基础版SDK需要导入 compile 'com.google.code.gson:gson:2.8.0' } ``` - Rebuild使以上修改生效,至此,导入工作已完成。 ### 2\.2 添加权限 - 在AndroidManifest\.xml中添加如下权限,如已有则忽略: ``` <uses-permission android:name="android.permission.INTERNET" /> <uses-permission android:name="android.permission.WRITE_SETTINGS" /> <uses-permission android:name="android.permission.CHANGE_NETWORK_STATE" /> <uses-permission android:name="android.permission.CHANGE_WIFI_STATE" /> <uses-permission android:name="android.permission.RECORD_AUDIO"/> <uses-permission android:name="android.permission.ACCESS_NETWORK_STATE"/> <uses-permission android:name="android.permission.ACCESS_WIFI_STATE"/> <uses-permission android:name="android.permission.CHANGE_NETWORK_STATE"/> <uses-permission android:name="android.permission.READ_PHONE_STATE"/> <uses-permission android:name="android.permission.READ_CONTACTS"/> <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/> ``` - 注意:当targetSdkVersion\>=23时,需要做好相关动态权限申请,不然会导致智能引擎初始化失败。 ### 2\.3 集成流程 #### 2\.3\.1 初始化 - 请参照demo,在onCreate\(\)设置各项数据:add\\\*\(collection\)各种本地数据,监听设备的网络状态、 播放状态、耳机蓝牙等的接入状态等。并初始化灵聚智能引擎,及聊天机器人类ChatRobot的实例: 聊天机器人类ChatRobot被设计成单例,必须由ChatRobotBuilder类创建。 ``` ChatRobotBuilder.create(getApplication(),"APPKEY","AUTHCODE") .setMusicContext(musicContext) .setLocationAdapter(locationAdapter) .setNetworkAdapter(networkAdapter) .build(new ChatRobotBuilder.RobotInitListener() { @Override public void initComplete(int i) { //String result1 = uploadEquipmentJson(); String result2 = uploadEquipmentList(); // String result3 = uploadEquipmentGroupJson(); String result4 = uploadEquipmentGroup(); } }); ``` - 关于APPKEY:请在灵聚开发者平台上申请应用并获取相应的APPKEY 和 AUTHCODE。 - ChatRobotBuilder创建后,用户需实现一系列的适配器并传入ChatRobotBuilder,这是为了让聊天机器人能够更智能地实现自然语言的语义理 解及分析,以下列出其适配器说明: - MusicContext,音乐播放的上下文接口,该接口允许用户点播本地的歌曲及更智能地进行音乐播放的语音交互,如开发者无此需求则无需传入。 - LocationAdapter,定位适配,实时读取设备当前的位置,用于支持周边POI查询,出行查询,天气查询等,不传入则这一系列查询均无法正常使用。 - NetworkAdapter,网络监听适配,实时读取设备当前的网络状态,用于实时切换在线及离线引擎。 - **初始化结果状态码返回请在请求返回的回调方法中调用Command类中的getLoginMessage\(\)方法获取。具体见demo中返回结果的回调方法。** 所有东西初始化完毕后,可在前端Activity发送各种Intent到该service中执行:识别、终止识别、合成、 终止合成、唤醒监听、终止唤醒监听、文本理解,见下图:  调用方式如:(详见demo的MainCommonActivity类) ``` Intent intent = new Intent(MainCommonActivity.this,MainService.class); intent.putExtra(MainService.CMD,MainService.REG_STOP); startService(intent); ``` Demo中发送intent调用MainService方法的逻辑仅供参考,开发者可自行实现。 #### 2\.3\.2 家居设备同步上传更新操作 - 如果开发者要接入家居控制功能,需要做设备同步更新上传操作。在新加入家居设备或者家居设备属性状态值有改变以及需要对设备进行分组编号的情况时,需要将家居设备的状态属性及分组信息同步更新上传,设备属性状态信息更新上传要求一次上传所有的设备,上传过的设备才能进行指令控制,否则默认显示找不到设备。设备分组信息更新要求一次上传所有分组情况,更新上传设备属性状态需要在ChatRobotBuilder初始化完成之后。可通过ChatRobotBuilder\.RobotInitListener\(\)的初始化监听回调方法initComplete\(inti\)获取初始化是否完成; - 如果返回i=0表示ChatRobotBuilder初始化完成,如果i=\-1表示初始化失败。建议在初始化完成之后可根据需要更新或上传设备信息及设备分组信息,参照demo中的initComplete\(int i\)方法: - 通过调用TerminalAccessor接口的upload\(JSONArray array\)、upload\(List\\list\)上传设备信息; - 其中以JSONArray作为参数的上传方法需要构造JSONArray,每种设备具有的属性参见sdk文档的附录一表格,将需要更新或上传的设备属性在构造JSONArray过程中传入即可,需要注意的是上传设备的equip\_id和name需要保证是唯一的。 JSON上传示例: ``` private String uploadEquipmentJson() { JSONArray equipmentArray = new JSONArray(); JSONObject deng1 = new JSONObject(); JSONObject deng2 = new JSONObject(); try { //equip_id与name需要保证唯一性,且不能为空,否则将报设备找不到 deng1.put("id",301); deng1.put("equip_type",1000); deng1.put("equip_id","d1"); deng1.put("name","灯1"); deng1.put("alias","厨房灯"); deng1.put("equip_location","厨房"); deng1.put("brightness",new Progress("80").toJsonString()); equipmentArray.put(deng1); deng2.put("id",301); deng2.put("equip_type",1000); deng2.put("equip_id","d2"); deng2.put("name","灯2"); deng2.put("alias","厕所灯"); deng2.put("equip_location","厕所"); deng2.put("brightness",new Progress("70").toJsonString()); equipmentArray.put(deng2); } catch (JSONException e) { e.printStackTrace(); } return AndroidChatRobotBuilder.get().robot().terminalAccessor().upload(equipmentArray); } ``` - 以List\\作为参数的上传方法需要将设备的实体类对象添加到list中上传,设备实体类以Equipment作为父类,已定义的设备实体类详见API文档。如果需要上传的设备没有定义过相应的实体类,则只能通过构造JSONArray的方式上传。 list上传示例: ``` private String uploadEquipmentList() { final List<Equipment> list = new ArrayList<Equipment>(); //equip_id与name需要保证唯一性,且不能为空,否则将报设备找不到 Deng e = new Deng(); e.setEquip_id("d3"); e.setBrightness(new Progress("80")); e.setName("灯3"); e.setEquip_location("客厅"); e.setAlias("客厅灯"); e.setStatus("OPEN"); list.add(e); e = new Deng(); e.setBrightness(new Progress("80")); e.setEquip_id("d4"); e.setName("灯4"); e.setEquip_location("走廊"); e.setAlias("走廊灯"); e.setStatus("CLOSE"); list.add(e); KongTiao k = new KongTiao(); k.setEquip_location("客厅"); k.setEquip_id("k1"); k.setName("空调"); k.setLevel(3); k.setStatus("OPEN"); list.add(k); return AndroidChatRobotBuilder.get().robot().terminalAccessor().upload(list); } ``` 注:upload\(JSONArray array\)、upload\(List\\list\)属于访问网络操作,请另起线程执行。 - 通过调用uploadGroup\(JSONArray array\)、uploadGroup\(List\\list\)方法上传设备分组信息;其中以JSONArray作为参数的设备分组上传方法需要构造设备分组的JSONArray,包括组名name、分组group、时间戳timestamp等。JSON上传示例: ``` private String uploadEquipmentGroupJson() { JSONArray equipmentGroup = new JSONArray(); JSONArray jsonArray1 = new JSONArray(); JSONArray jsonArray2 = new JSONArray(); JSONObject object1 = new JSONObject(); JSONObject object2 = new JSONObject(); try { object1.put("name","白天"); jsonArray1.put("x1"); jsonArray1.put("x2"); jsonArray1.put("x3"); object1.put("group",jsonArray1); object1.put("timestamp",new java.util.Date().getTime()); object2.put("name","晚上"); jsonArray2.put("y1"); jsonArray2.put("y2"); jsonArray2.put("y3"); object2.put("group",jsonArray2); object2.put("timestamp",new java.util.Date().getTime()); equipmentGroup.put(object2); } catch (JSONException e) { e.printStackTrace(); } return AndroidChatRobotBuilder.get().robot().terminalAccessor().uploadGroup(equipmentGroup); } ``` - 以List\\作为参数的设备分组上传方法需要将EquipmentGroup分组对象添加至list中上传。EquipmentGroup对象包括组名name、分组group、时间戳timestamp等属性。 list上传示例: ``` private String uploadEquipmentGroup() { List<EquipmentGroup> list = new ArrayList<EquipmentGroup>(); EquipmentGroup g = new EquipmentGroup(); g.setName("晚上"); List<String> gids = new ArrayList<String>(); gids.add("l1"); gids.add("k1"); g.setGroup(gids); list.add(g); g = new EquipmentGroup(); g.setName("中午"); gids = new ArrayList<String>(); gids.add("l2"); gids.add("k2"); g.setGroup(gids); list.add(g); return AndroidChatRobotBuilder.get().robot().terminalAccessor().uploadGroup(list); } ``` 注:uploadGroup\(JSONArray array\)、uploadGroup\(List\\ list\)属于访问网络操作,请另起线程执行。另外设备功能属于可选功能,用户可根据需要决定是否对接。 - 通过调用getGroup\(\)获取设备分组信息;通过getLastEquipments\(\)获取最近一次设备集合信息。详见API文档。 #### 2\.3\.3 数据同步更新上传操作 - 数据同步更新上传是针对备忘、提醒、闹钟、记账、录音等功能的数据操作,对这些功能生成的对应的备忘数据、提醒数据、闹钟数据、记账数据、录音数据的新建、删除、修改、查询操作时需要将本地的数据与服务端的数据同步。备忘、提醒、闹钟、记账、录音在sdk中定义了相应的实体类,分别为MemoEntity、RemindEntity、AlarmClockEntity、BillEntity、TapeEntity。这些实体类都继承自SyncSegment。 SyncSegment中包含的同步属性(**本地记录上传时必须提供**)如下所示: ``` /** 服务端对应记录的ID */ protected String sid; /** 本地记录的ID */ protected int lid; /** 时间戳(服务端返回),版本号 */ protected long timestamp; /** 回收状态,0=可用,1=回收站 */ protected int recyle; /** 是否已经同步 */ protected transient boolean synced; ``` **同步更新上传示例:以提醒为例** 1. 定义一个类实现同步接口:interface SyncDao ``` /** * 提醒动作对象同步操作Dao实现 **/ public class RemindEntityDao implements SyncDao<RemindEntity> { @Override public int getTargetId() { //targetId:动作对象id,提醒(RemindEntity)为308。 return RobotConstant.ACTION_REMIND; } /** * 获取目前对象的实体类 */ @Override public Class<RemindEntity> getTargetClass() { return RemindEntity.class; } /** * 获取本地记录中最大的同步时间戳 */ @Override public long getLastTimestamp() { long t = 0; Remind remind = 以timestamp倒序排列,查找数据库第一条提醒记录; if (remind !=null) t = remind.getTimeStamp(); return t; } /** * 合并服务端的数据,合并策略(永远以服务端数据为优先): * 1.本地含有相同lid的记录:覆盖合并到本地记录; * 2.本地没有相同lid的记录,插入本地记录; * @return true:合并成功,false:SDK将会调用{@linkplain SyncDao#mergeServerData(List) mergeServerData(List)}处理 */ @Override public boolean mergeServerData(JsonArray jsonArray) { System.out.println("Remind mergeServerData>>" + jsonArray); return false; } /** * 合并服务端的数据,合并策略(永远以服务端数据为优先): * 1.本地含有相同lid的记录:覆盖本地记录; * 2.本地没有相同lid的记录,插入本地记录; * @param data * @return true:合并成功 */ @Override public boolean mergeServerData(List<RemindEntity> list) { if (list != null && list.size() > 0){ //TODO 第一步:本地合并服务端返回的数据 //第二步:由于服务器端一次最多只能合并100条数据,合并数据后需要再递归请求数据刷新,保证所有云端数据合并完毕 AndroidChatRobotBuilder.get().robot().actionTargetAccessor().syncUpdate(this); } return true; } /** * 查询未同步的本地记录 * @param size 返回的最大长度 * @return */ @Override public List<RemindEntity> getUnSyncLocalData(int size) { List<RemindEntity> list = new ArrayList<>(); //TODO 获取数据库所有记录,并将synced = false(未同步)的记录加入list中; //注意:由于服务器端有记录上传限制,所以list的最大容量建议<= 500。 return list; } /** * 查询未同步的本地记录的总数 * @return */ @Override public int getUnsyncLocalDataCount() { int c = 获取数据库中synced = false(即未同步)的记录总数; return c; } /** * 查询未同步的本地记录 * @param size 返回的最大长度 * @return null:SDK将会调用{@linkplain SyncDao#getUnSyncLocalData() getUnSyncLocalData()}查询 */ @Override public JsonArray getUnSyncLocalDataAsJsonArray(int size) { return null; } } ``` 1. 在需要同步的地方调用同步方法:ActionTargetAccessor类的 boolean sync\(SyncDao var1\); 例如,本地删除提醒记录(建立同步机制后,删除并非直接清除该记录,而是设置删除标记表示已删除)① 设置删除标记和待同步标记,保存记录(delRemind:要删除的提醒对象) ``` //synced:同步标记(true 已同步 false 待同步) delRemind.setSynced(false); //recyle:删除标记(0 有效记录 1 已删除记录) delRemind.setRecyle(1); //TODO 保存delRemind对象到本地数据库中,update方法需开发者实现 update(delRemind); ``` ② 本地保存后需更新同步到云端 ``` //同步方法,注意mRemindEntityDao所有查询相关的方法必须能够查询到最新状态的记录,否则该同步方法将失败 AndroidChatRobotBuilder.get().robot().actionTargetAccessor().sync(mRemindEntityDao); ``` #### 2\.3\.4 语音识别操作 - Activity同样通过Intent调用进行语音识别,MainService在onStartCommand接收到REG\_START,随即启动识别,接受到REG\_STOP则终止识别。识别启动后,将会有各种识别的回调。 - 最终目的是在onRecognizeResult\(String\)中获得识别的结果,然后即可进入ChatRobot的语义处理流程,如果识别出错,将回调onRecognizeError\(int\)方法,各种回调均会有对应的事件传送到Activity,本sdk采用了EventBus\(一款针对Android优化的发布/订阅事件总线\)传送事件,Activity端只需注册到默认的EventBus: ``` EventBus.getDefault().register(this); ``` - 然后即可接收相对应的事件,代码如下所示: ``` public void onEventMainThread(RecordUpdateEvent e){ switch(e.getState()){ case RecordUpdateEvent.RECORD_IDLE: //voiceButton.setRecordIdleState(); voiceButton.setText("点击说话"); break; case RecordUpdateEvent.RECORDING: //voiceButton.setRecordStartState(); voiceButton.setText("录音中..."); break; case RecordUpdateEvent.RECOGNIZING: // voiceButton.setRecognizeCompletedState(); voiceButton.setText("识别中..."); break; case RecordUpdateEvent.RECORD_IDLE_AFTER_RECOGNIZED: voiceButton.setText("思考中..."); break; default:break; } } public void onEventMainThread(RecognizedEvent e){ if(TextUtils.isEmpty(e.getText()))return; history.add(new Msg(e.getText(), Msg.INPUT_TYPE)); adater.notifyDataSetChanged(); recyclerView.scrollToPosition(history.size() - 1); } ``` #### 2\.3\.5 Robot的处理流程 - MainService的 ``` public int onStartCommand(Intent intent, int flags, int startId) ``` - 接收到SEND\_MSG或者SEND\_VOICE\_MSG后,提取Intent中的文本,或者从语音识别结果 onRecognizeResult\(String\)中获得输入文本,然后调用: ``` public void sendMessageToRobot(String text, int type) ``` - 方法处理文本输入,灵聚智能引擎(robot)处理完毕后,会回调 ``` /** * 灵聚智能引擎应答输出回调 * @param text 输出文本 * @param type 输入类型,0=文本输入,1=语音输入 */ protected void onRobotResponse(String text,Command cmd,int type){…} ``` - 该方法会将robot返回的指令返回至方法中,开发者需在这些回调方法中解析并执行应答指令,指令说明详见3\.6节(或者api的Command类说明),指令解析并执行完成后可通过EventBuspost到前端Activity,在Activity中可以这样接收: ``` public void onEventMainThread(RobotResponseEvent e){ if(TextUtils.isEmpty(e.getText()))return; history.add(new Msg(e.getText(), Msg.OUTPUT_TYPE)); adater.notifyDataSetChanged(); recyclerView.scrollToPosition(history.size() - 1); } ``` 详见Demo中的MainCommonActivity; #### 2\.3\.6 合成操作 - 合成操作也可通过intent调用,但同时有更便捷的方法,因为语音合成组件设计成单态,可在任何地方调用(同一个进程内),调用前需判断语音合成组件是否已经初始化: ``` if(!TextUtils.isEmpty(text)&& SynthesizerBase.isInited()){ synthesizer.startSpeakAbsolute(text); } ``` - 合成朗读完成后,会检查系统是否处于唤醒模式,如果是,将启动下一个流程:唤醒监听。 #### 2\.3\.7 唤醒监听 - 唤醒的开启及终止也可以通过Intent调用,关于唤醒模式: 麦克风处于长期录音状态,一旦监听到用户语音输入了唤醒词,MainService的onWakeup\(String\)方法将会被回调,监听在以下两种情况下暂时关闭: 1. 当设备播放音频,如将文本合成语音、播放音乐,这种情况下一般会暂停唤醒监听,但也允许例外: a\. 当设备播放的音频不会被自身麦克风录入的情况下,如音频是通过耳塞或者蓝牙耳塞播放。 b\. 当用户采用自己的唤醒功能,并且该唤醒功能的解决方案非常完美,回声消除做得非常好,在录入自身回声的情况下依然能完美工作,那么将直接实现了语音打断功能,播放时无需暂停唤醒监听 2. 当设备启动识别功能时,这种情况下无条件暂停唤醒监听 - 当系统的语音合成组件完成合成朗读而后进入闲置状态,会检查当前是否处于唤醒模式(MainService的isWakeUpMode\(\)返回true),如果是则会自动开启唤醒监听,否则终止唤醒监听,用户可自行控制该方法的返回实现唤醒模式的切换。 注意:SDK的唤醒词为:小灵你好。Demo中没有打开唤醒模式的按钮,需通过语音输入:“打开唤醒模式”开启,终止唤醒模式则是语音输入“关闭唤醒模式”。 #### 2\.3\.8 应答指令解析 - 应答返回JSON格式的指令,ResponseCallback回调中的IChatResult已将应答指令封装成Command对象,该对象将会在MainService的 onRobotResponse回调方法中获得,3\.3小节已有说明,在onRobotResponse方法中解析Command对象并执行即可,应答指令说明如下: ``` { " rtext ": String,// AI应答文本,String类型 " synthetise ":JSON,//应答文本合成控制 " ttext ":String,// AI提示性文本 Sting类型 " outc ": int,//输出控制码,int类型 " motions ":JSON,//动作集合,解析参照自动动作集合结构 " actions ":JSON//语义对象集合,解析参照语义对象集合结构 } ``` - 自动动作集合结构: \[\{"index":rtext应答文本中字符的索引位置,"level":动作优先级,"motion":动作id\(参见动作对象\)\},\.\.\.\] 动作id及详细指令解析请参照SDK指令说明,动作JSON的详细说明如下: - IChatResult会输出的回复文本(以下用Text指代)。 - index:int类型,表示Text朗读到第index个字时需要做的动作(以下用C动作指代); - level:代表了C动作的优先级,int类型,如果上一个index需要做的动作\(以下用L动作指代\)还未完成,则比较两者的优先级, 如果C动作优先级比L动作优先级高,则打断L动作执行C动作,反之忽略C动作; - motion:指动作ID,int类型,这是一个抽象的动作概念,具有特定的一个具体定义,如:motion=20001,代表了高兴,则用户需将该动作ID 映射到机器人自身的若干个表示高兴的动作集合中,当指令指示要执行该动作ID时,开发者须自行制定策略选择一个代表高兴的动作执行之。 - 语义对象集合结构: \[\{"action":语义动作,"etime":动作执行时间,"target":语义动作的目标对象\},\.\.\. \] 语义动作的目标对象详细请参照sdk指令说明,语义对象JSON说明如下: - action:语义动作,AI可以执行的指令通常只有VIEW,其它的无法或者不可能执行,需要传递给开发者代为执行。 - etime:动作执行时间,一般表示为自定义的scheduler类型,无此属性或为空代表马上执行。 - target:语义动作的目标对象。(详细请参照sdk指令说明) #### 2\.3\.9 图片讲解、视频讲解功能 - 图片讲解、视频讲解是提供给每个对接了硬件SDK的终端设备用来进行图片讲解和视频讲解的功能。开发者根据SDK端输出的图片讲解对象和视频讲解对象进行解析,完成相应的界面和语音操作。就能够使终端用户在灵聚机器人CMS上编辑的图片和视频内容在机器上输出并讲解相应的内容。 图片讲解、视频讲解功能的在灵聚机器人CMS上的操作请参考SDK包中的“灵聚机器人CMS操作指南”。 图片讲解的指令输出: ``` 输入:打开手机的图片讲解。 输出: { "rtext": "好的", "synthetise": "","ttext": "","outc": "0","motions": [], "actions": [ { "action": "OPEN", "target": { "id": 332, "setsname":"手机", "name":"手机图片1", "title":"价格", "content":"移动电话,或称为无线电话,通常称为手机", "contentmotions": [{"index":content文本中字符的索引位置,"level":动作优先级,"motion":动作id(参见动作对象)},...] } } ] } ``` 图片功能对接: 这里打开手机的图片讲解需要用户在灵聚的机器人CMS上进行了图片讲解功能的编辑,并设置了图片讲解的触发语为“打开手机的图片讲解”。开发者需要对指令进行解析,展示图片信息,并处理相应的文本播放,在图片讲解的流程中,如果要进行翻页,或者暂停等操作时,只需使用相应的操作文本返回给灵聚SDK,比如“下一页”,“上一页”,“退出”等,SDK接到这些操作文本会返回对应的指令。 视频讲解的指令输出: ``` 输入:打开手机的视频讲解。 输出: {"rtext":"好的" ,"synthetise":"", "ttext":"","outc":0,"motions":[] "actions":[ {"action":"OPEN", "target":{"id":332, "name":"手机视频", "videocontent":[{ [{"timepoint":播放视频的时间轴位置,"content":"时间节点对应的文本"},...], "contentmotions": [{"index":content文本中字符的索引位置,"level":动作优先级,"motion":动作id(参见动作对象)},...]},...] } }] } ``` 视频功能对接: 这里打开手机的视频讲解需要用户在灵聚的机器人CMS上进行了图片视频功能的编辑,并设置了视频讲解的触发语为“打开手机的视频讲解”。开发者者对视频指令进行对接,播放相应的视频,并在视频播放至视频讲解文本的时间节点处时,输出相应的文本的语音,如果进行暂停播放。继续播放只需使用相应的操作文本返回给灵聚SDK,比如“暂停播放”,“继续播放”,“退出”等,SDK接到这些操作文本会返回对应的指令。 图片讲解、视频讲解功能对接包括以下几点需要开发者注意: - 图片和视频讲解的图片以及视频资源需要存储在设备本地,建议提供一个固定的文件夹来存放资源。然后后通过SDK返回的指令获取对应资源的名称来选择操作本地图片和视频的播放和讲解。 - 图片和视频讲解需要给终端用户在灵聚机器人CMS上编辑图片和视频的资源,编辑图片与视频讲解内容操作参见SDK包中的“灵聚机器人CMS操作指南”。 - 图片和视频讲解在设备中如果有界面或者语音进行流程控制,比如下一张、上一张、播放、暂停、继续、退出等一系列流程操作时需要用户通过语音对话 请求接口返回相应的文本信息,以便通知服务端控制流程。 - 图片和视频讲解的指令对象请参照灵聚SDK指令文档。 ### 2\.4 混淆打包 ``` -dontwarn com.lingju.** -keep class com.lingju.** { <fields>; <methods>; } -keepclassmembers class ** { public void onEvent*(**); } -dontwarn com.iflytek.** -keep class com.iflytek.**{*;} -dontwarn com.hp.hpl.** -keep class com.hp.hpl.** { <fields>; <methods>; } -dontwarn net.sourceforge.pinyin4j.** -keep class net.sourceforge.pinyin4j.** { <fields>; <methods>; } -dontwarn org.joda.** -keep class org.joda.** { <fields>; <methods>; } -dontwarn com.google.gson.** -keep class com.google.gson.**{*;} ``` ### 2\.5 使用声明 #### 2\.5\.1.关于讯飞语音SDK的APPID - 灵聚sdk集成了讯飞语音SDK,该SDK使用的是灵聚公司的APPID,这意味着该版本的所有开发者均会使用讯飞的同一个APPID,如果用户需要 拥有自己专属的讯飞语音APPID,有两个方法: 1. 提供讯飞语音SDK并联系灵聚技术人员重新集成到灵聚SDK。 2. 使用该SDK同类版本的base版(不集成任何语音,纯文本语义处理) #### 2\.5\.2.关于唤醒功能 - 灵聚SDK的唤醒词为:小灵你好。该功能是基于讯飞离线命令词识别制作而成,这要求本SDK的集成及demo的测试都必须提前安装讯飞语计APP。如果开发者已找到专业的第三方语音厂商提供唤醒功能服务,有三种选择: 1. 关闭本SDK的唤醒模式,唤醒功能开发者自己负责。 2. 联系灵聚商务人员让灵聚的技术重新集成贵司定制的唤醒功能。 3. 使用该SDK同类版本的base版(不集成任何语音,纯文本语义处理) ## 3\.错误码表 |错误码|描述| |---|---| |0|成功| |\-1|系统异常| |1|其它错误| |4|开发者帐号错误,账户未完成认证或已被禁用| |6|APPKEY无效| |7|model错误| |8|参数错误| |9|已经是最新版本| |10|重复操作| |11|授权码无效| |12|激活码重置过于频繁| |13|体验版授权码已过期| |14|激活失败,请重试| |15|连接中禁止切换用户| |16|终端未激活| |17|激活码已过期,请重置| |18|激活码无效| |19|会话过期| |20\-29|数据格式校验错误| |40|并发过高导致请求失败| |41|每次调用次数已达上限| |42|目标对象未同步,请先通过update接口更新后重试| |43|应用无效,已被限制使用| |44|应用无效,已废弃| |45|目标对象数量已达上限| |97|校验失败| |98|重复登录| |99|未登录| |111|参数错误| |114|帐号未认证| |120|账号已被禁用| |121|授权限额已满| |122|accessToken已过期| |123|没有调用http接口的权限| |124|系统应答超时| |129|应用已被限制|
lingju.ai
2026年10月20日 17:19
转发文档
收藏文档
上一篇
下一篇
手机扫码
复制链接
手机扫一扫转发分享
复制链接
Markdown文件
PDF文档(打印)
分享
链接
类型
密码
更新密码