Top

AI+IoT，用涂鸦智能为AI打开通往现实世界的大门。

云开发产品技术讨论，包括IoT Core和其他云服务API、数据分析产品等话题


Post Reply
piecemaker
Posts: 1

https://mp-a1f0880d-a24a-4252-92d0-7c10 ... 934134.mp4
上面是演示视频，大家可以点链接看看。

3月7日凌晨，造件师成功完成涂鸦IoT平台云开发API签名调试，实现通过造件师小程序语音控制一个售价3.5元的台灯接通10秒后自动关闭。这一屡微光，点亮了混合AI的IoT技能，为AI打开了通往现实世界的大门（仔细想想还有点不寒而栗 :shock: ）
这个示例的原理是这样的，通过造件师小程序发送语音，会调用造件师AI的三级知识库，匹配是否有本地知识或能力，若匹配不到，则会调用经过内容安全审核的ChatGPT3.5对话接口进行问答。
因为提问“你相信光吗？”已经提前在造件师的本地AI调教0代码平台中设置了全匹配问题，同时增加了附加IoT能力“iotLight”，此能力已在造件师IoT平台中定义为，控制指定设备名为switch_1的开关开启10秒后，发送关闭指令。造件师IoT接收到指定后，签名后调用涂鸦IoT平台API向指定设备下发指令，完成开灯和关灯操作。
Image
当然，3.5元的LED台灯原本当然是无法连接IoT平台的，因此，我是淘宝了一块可以用涂鸦智能控制的WIFI继电器作为开关，把台灯电线剪断重新焊接到开关上就行了。（这就是涂鸦IoT生态的恐怖吧）
Image
既然能开灯了，那自然也能控制阀门、道闸、原子弹发射按钮。
下一步，造件师也将探索小程序设备开发配网和绑定，通过0代码平台实现自定义IoT能力，让用户能通过AI助手语音控制家庭或公共区域的设施设备。
造件师AI这个小程序是计划作为企业AI客服来使用，让ChatGPT能补充企业知识库无法回答的问题，让AI客服不再是人工智障。同时，造件师也为原版的ChatGPT补全了地理位置、天气、时间等语言模型无法感知的数据源，为了保命，还第一时间上线了内容安全审核，过滤ChatGPT回答的风险内容。提供作品展示、用户分享、问卷收集等常用功能。让企业用户能自行通过0代码平台创建、发布表单和数据查看。目前造件师AI正在开发中，预计会提供免费和开源版本给大家，敬请期待哦。
Image
下面也贴上nodejs版本的云开发平台调用代码（造件师的签名调试踩了不少坑，好在涂鸦的文档很丰富），供大家参考，不一定是正确的，但能用：
1.在本地知识库命中iot能力时，调用相关控制动作：开关开启10秒后关闭

Code: Select all

if(localKnowledgeBase.lockDemand==='iotLight'){
    const commands = await service('api::iot.iot').commandDevice("6c4xxxxxxxxoeok",{
        "commands":[
            {
                "code": "switch_1",
                "value":true
            }
        ]
    })
    if(commands.success){
        setTimeout(async ()=>{
	     const commands = await service('api::iot.iot').commandDevice("6c4xxxxxxxxoeok",{
                "commands":[
                    {
                        "code": "switch_1",
                        "value":false
                    }
                ]
            })
	},10000)
    }
}

2.commandDevice()向设备下发指令

Code: Select all

async commandDevice(device_id,body){
    let sha256 = CryptoJS.SHA256(JSON.stringify(body))
    const httpMethod = "POST"
    var timestamp = new Date().getTime();
    const access_token = await this.getToken()
    let nonce = ''
    const queryUrl = "/v1.0/devices/"+device_id+'/commands'
    let stringToSign = httpMethod + "\n" +
    sha256 + "\n" + "\n" +queryUrl
    stringToSign = clientId + access_token + timestamp + nonce + stringToSign
    var hash = CryptoJS.HmacSHA256(stringToSign, secret);
    var hashInBase64 = hash.toString();
    var signUp = hashInBase64.toUpperCase();
    let headers = {
        method:httpMethod,
        access_token:access_token,
        client_id:clientId,
        sign:signUp,
        t:timestamp,
        sign_method:'HMAC-SHA256',
        nonce:'',
        stringToSign:'',
    }
    const device_commands = await axios.post('https://openapi.tuyacn.com/v1.0/devices/'+device_id+'/commands',body,{headers});
    return device_commands.data
}

3.getToken()获取access_token

Code: Select all

async getToken(){
    const httpMethod = "GET"
    var timestamp = new Date().getTime();
    let nonce = ''
    const queryUrl = "/v1.0/token?grant_type=1"
    let stringToSign = httpMethod + "\n" +
    'e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855' + "\n" + "\n" +queryUrl
    stringToSign = clientId + timestamp + nonce + stringToSign
    var hash = CryptoJS.HmacSHA256(stringToSign, secret);
    var hashInBase64 = hash.toString();
    var signUp = hashInBase64.toUpperCase();
    let headers = {
        method:httpMethod,
        client_id:clientId,
        sign:signUp,
        t:timestamp,
        sign_method:'HMAC-SHA256',
        nonce:'',
        stringToSign:'',
    }
    const token = await axios.get('https://openapi.tuyacn.com/v1.0/token?grant_type=1',{headers});
    return token.data.result.access_token
}

ChatGPT是一个起点，未来我们还将拥有国产AI以及更多的AI和IoT能力，造件师作为AI和IoT应用层面的探索者，能做的就是将海内外优势的数字科技能力糅合在一起，再生出更好玩的东西。当有更优秀的底层基础设施出现，我们也将第一时间应用，或是切换。

最后，再安利一下自家的造件师AI，扫描图片最下方的二维码就可以啦:
Image

一些奇怪的AI口令，可以体验一下：
1、切换小南瓜 ————————一个甜品店零售案例，可以在线下单；
2、切换德阳通 ————————一个城市级AI应用案例，可以查询“最近的公交站在哪儿”获取公交到站时间、“我要去XXXX”公交路径规划；
3、现在天气怎么样；
4、天气预报；
5、你相信光吗 ————————一个涂鸦智能应用案例，在现场才能看到开灯效果；
6、现在几点了；
7、请帮我推荐一个网名 ————————造件师的昵称推荐算法；
8、我要点外卖 ————————图片自定义回复；
9、我要报错；
10、我要申请试用 ————————申请免费建设自己的AI助手
11、其它问题 ——————ChatGPT联系上下文回答

（如果有新想法或是体验中遇到问题，也可以向“造件师”小程序发送口令“我要加群”，获得造件师的微信群二维码，向造件师反馈和分享）

Post Reply