SiriKit的使用介绍

作者: OlsonXia | 来源:发表于2016-07-01 14:00 被阅读2541次
1.jpg

Intent的概念

Siri做完语音识别和语义分析之后,将结构化语音分析结果打包成一个某个领域(Domain)的意图(Intent),然后交给支持这个意图(Intent)的第三方应用(比如微信),第三方应用被启动,从传入的Intent中获取相应的信息,完成操作。
例如,上图演示中提到了的例句 “I need to send a message to Nancy via WeChat saying I'll be five minutes late",

  • 领域 (Domain):Messaging
  • 意图 (Intent):Send a message (INSendMessageIntent)
  • 意图参数 (Intent Parameter)
  • 收件人(recipients):Nancy
  • 消息内容(content):I'll be five minutes late

按照苹果官方的iOS文档,现在SiriKit共支持7个领域的共计22种意图:

  • 语音通话 VoIP Calling:打电话、发起视频电话、查通话记录
  • 信息 Messaging:发信息、搜索信息
  • 照片搜索 Photo Search:搜索照片、播放照片幻灯片
  • 个人之间的付款 Payments:向某人付款、向某人收款
  • 健身 Workouts:开始健身、暂停健身、恢复健身、结束健身、取消健身
  • 打车 Ride Booking:查看附近可用的车辆、订车、查看订单
  • 车载 CarPlay:切换音频输入源、空调、除霜、座椅加热、FM调台 (只针对汽车厂商)

IntentsExtension

Siri通过Intents extension的扩展方式和我们的应用进行交互。
其中,类型为INExtension的对象扮演着Intents extension扩展中直接协同Siri对象共同响应用户请求的关键角色。
1.选中我们的应用,进入项目总览界面,新增一个TARGET
2.选择Application Extension中的Intents extension
3.下一步,指定扩展的名字,语言及其他配置项
4.如果要自定义siri交互的UI,需要勾选Include UI Extension
5.完成


2.jpg
3.jpg

创建的Targe都会有一个plist文件


4.jpg

plist文件中,NSExtension是扩展配置NSExtensionAttributes包含IntentsSupported和IntentsRestrictedWhileLocked两个配置项,分别是支持的Intent和锁屏时限制使用的Intent,这里我们配置的都是发送信息的Intent。
锁屏的时候,出于安全考虑,限制通过Siri方式访问一些信息,可以保护用户隐私。
NSExtensionPrincipalClass指定了处理Intent的类UCIntentsHandler,他主要的工作就是根据不同的Intent,返回相应的Intent处理对象。


5.jpg
处理一个Intent对象需要3个处理环节:Resolve,Confirm,Handle
UCSendMessageIntentHandler实现了INSendMessageIntentHandling协议,协议中的方法就是这3个处理环节。

看一下这三个环节都做了什么事情


6.jpg
Resolve:将语音解析后INIntent对象中的关键信息提取出来,进行处理。不同Intent的协议需要处理的信息是不同的。
SendMessageIntent需要处理recipients,content
7.jpg
8.jpg
通过INIntentResolutionResult实例返回处理结果给siri,每一种信息对应一个确切的子类,比如recipient,对应的INPersonResolutionResult。
每一种resolution result又包含多种构造方法,用于表示不同的处理结果:成功(找到了唯一匹配的收件人),需要解疑(找到了相同姓名的多个收件人),不存在(没有此收件人),当然,还有一些其他的状态,具体的可以阅读官方文档。

下面是Confirm的实现


9.jpg

Confirm里的实现不是必须的,但是苹果强烈建议这么做。开发者可以对Intent的信息添加一些额外的合理性检查,再次确认用户的操作。
每一种Intent的处理结果会返回对应的IntentResponse,生成对象的时候需要设置user actitvity,默认可以设置为nil,关于UserActivity下面会介绍。

Handle code就是具体去执行用户的操作


10.JPG

演示效果就是这样的


11.JPG
12.JPG

NSUserActivity对象可以保存一些context,其中的INInteraction属性也包含了intent的一些信息,当主应用被siri或者用户打开时,可以通过NSUserActivity,来完成一些唤醒操作。这部分苹果的文档上现在介绍的还不是很清楚,我没有找到具体的例子和API介绍。估计和Handoff是类似的。

词汇定义

定义app的自有词汇可以帮助siri识别和你应用相关的用户命令,改善使用体验。


13.jpg

只能设置这几种类型的特有词汇

  • 通讯录名字
  • 照片标签
  • 相册名称
  • 健身名称

配置文件需要自己手动创建,必须命名为AppIntentVocabulary.plist,放置在应用base development language的.lproj路径下。
添加两个键在Root元素下ParameterVocabularies和IntentPhrases。plist配置文件中设置词汇,只能设置两种类型词汇Ride options和健身名称。
ParameterVocabularies是近义词,同音词定义。这个比较复杂,涉及到key值很多,具体查阅文档吧。
IntentPhrases可以帮助解析intent,往往一个intent可以有多种表达方式。
IntentName:
INRequestRideIntent
IntentExamples:


14.jpg

词汇识别配置文件的例子


15.jpg

Intent UI Extension

一个Intent UI Extension可以支持多个Intent,但是所有这些Intent共用一个viewcontroller
关于UI设计,苹果有一些建议,比如避免广告,有应用标识等,具体可以参考官方文档。创建步骤可以参考Intents Extension,plist只有IntentsSupported。
Intent UI Extension也是通过Viewcontroller来管理视图的,它的PrincipalClass是UIViewController的子类。
生命周期与普通的ViewController类似


16.JPG

这个ViewController还需要实现 INUIHostedViewControlling协议,并通过INInteraction和Sirikit进行信息交互,INUIHostedViewControlling协议只有一个需要实现的方法


17.jpg
显示效果如图所示
18.jpg
可以看到,自定义的UI和SIRI默认的UI重复了,对于约车和Message相关Intent,可以隐藏系统默认的UI,此时需要实现INUIHostedViewSiriProviding协议的方法
19.jpg
最终效果
20.jpg

相关文章

  • SiriKit的使用介绍

    Intent的概念 Siri做完语音识别和语义分析之后,将结构化语音分析结果打包成一个某个领域(Domain)的意...

  • Part1: SiriKit 介绍

    在这里放出原文链接地址 Part 1.1 SiriKit 介绍 SiriKit 可以使你的 App 和 App 提...

  • ##SiriKit 有关介绍

    引言 在6月14日凌晨的WWDC2016大会上,苹果提出iOS10是一次里程碑并且推出了十个新特性,homekit...

  • SiriKit使用简介

    介绍SiriKit SiriKit是让你的内容通过Siri展示的一个框架库。当用户向Siri请求特别类型的服务时,...

  • SiriKit

    如何使用 SiriKit INExtension 无法调用 UIApplication 只能在 UIViewCon...

  • SiriKit框架详细解析(二)—— 请求授权使用SiriKit

    版本记录 前言 大家都知道随着人工智能的发展,会掀起来另外一个工业革命,而语音识别就是人工智能的初始阶段,但是每个...

  • 18.iOS10新特性,适配教程,XCode8新特性

    iOS 10 新特性 SiriKit SiriKit的功能非常强大,支持音频、视频、消息发送接收、搜索照片、预订行...

  • SiriKit 使用注意事項

    在一段时间的SiriKit开发中遇到了很多问题,踩到了很多坑,最终实现的功能却很简单,远远没有达到惊艳的程度,使用...

  • 我所感兴趣的iOS10新特性

    SiriKit Siri API 的开放自然是 iOS 10 SDK 中最激动人心也是亮眼的特性。SiriKit ...

  • SiriKit

    Siri目前支持以下几个方面:1、语音和视频通话 (VoIP calling)2、发送消息 (Messaging)...

网友评论

    本文标题:SiriKit的使用介绍

    本文链接:https://www.haomeiwen.com/subject/cnaxjttx.html