役割に分かれて作業3

・機能一覧作成　担当
Googleアシスタントのアプリをいれることで「オッケーグーグルスマートフォンに送信して」という機能が使える。
「オッケーグーグル、○○さんのスマートフォンに送信して」という機能はない
Google home ITFFF,Googleスプレットシートを使えばGoogle Homeから喋らすことができる。
今後IFTTTについて調べる

・google home notifier　担当
入力した文章を喋らせることには成功した。
会話をさせようと色々調べたが有用なものが見つからず手詰った。
⇒GitHubにexample.jsというサンプルプログラムがある。 これはポート8091で待ち受け、curlコマンド等でリクエストを送るとAIスピーカーを喋らせることができる。curlコマンドをclontab等でタイマーセットしておけば、指定した時刻に喋らせることができるようになる。そこで、example.jsが動くようにする。

・google home スキル開発　担当
FirebaseCLIのインストールを行うにあたりnode.jsとGitのインストールを行った。
次回は3.2Cloud Functionsのデプロイから

役割に分かれて作業2

引き続き役割に分かれて作業を行った。

・機能一覧作成　担当

orcaにてQRコードを作成した。

印刷した処方箋のQRコードを読み込むと処方箋の内用が表示された。

・google home スキル開発　担当

購入した書籍はどれも情報が古くなっていたためkindleにてGoogleHome/Googleアシスタント開発入門!最新クラウドサービスアプリを使ったアプリ開発と公開！を購入した。

これにそっておみくじアプリを開発した。

次回もスキルを開発してdialogflowのやり方を身に着けていく。

・スマホアプリ作成　担当

firebaseにてQRコードリーダーを開発した。

役割に分かれて作業

以前決めた役割に分かれて作業を行った。
・機能一覧作成　担当
標準の機能を使うか新たな機能を開発するかを分担する。

・google home notifier　担当
google home notifierをセットアップする。

・google home スキル開発　担当
書籍に載っているサンプルすきるにて開発方法習得。

・スマホアプリ作成　担当
QRコードを読み込みサーバーへ送信するアプリを作成。

多々トラブルはありながらも順調に開発できているように思う。
中間発表やオープンキャンパスで沢山の人が興味を持ってもらえるものが作れたらなと思う。

実際にAIスピーカーを使ってみよう！

●実際にAIスピーカーを使ってみて

今日は内田君の私物のGooglehomeを使ってどんなことができるのかを試してみた。

その結果ゼミの研究に使えそうなことは以下のようなことがあった。

・リマインダー（声別に認証できる）

・薬の情報を聞くと教えてくれる。（一般名じゃないとできない）

・Googlehomeアプリの’ルーティン’から特定のことを話しかけるだけでいろいろできそう

（時間や曜日も設定できる）

・近くの病院を教えてくれる

・声認証ができる（その声の持ち主でないと答えてくれないためプライバシーを守れる）
・googleのカレンダーに予定が入っていたら聞くと教えてくれる。

などのことができると分かった。

Googlehome１つでも結構なことができると分かったため、今後は
・スプレッドシートに服用管理ができるようする。
・リマインダーやルーティンを活用していく。
ことをしていけばもう少ししたいことに近づくと思った。

「Google-home-notifier」を使うともっとできることが広がるということが分かった。
ゼミの研究に使えそうなことは以下のようなことがあった。
・予定の通知
・LINEで送信したメッセージを読み上げる
・温度管理で熱中症対策
・薬を飲む時間を通知
などのことができると分かった。これを使うとGoogleHomeを自発的にしゃべらせることができるため今後はこれを活用していきたいと思う。


参考文献
「Google Home」が自発的におしゃべりするようになる？！
https://iedge.tech/article/7913/
5/８参照

GoogleHomeに追加すべき機能の再度洗い出し

「お薬リマインダー」について前回話し合い、秀和システムの「スマートスピーカーアプリ開発入門」を読みアレクサとGoogleHome、どちらのほうが開発に向いているのか話し合った。話し合った結果GoogleHomeを利用することにまとまった。

GoogleHomeではどのようなことができるのか、追加しなければいけないスキルはどのようなものがあるのかもう一度洗いだした追加で案がいくつか出た。再度何が必要なのか洗い出ししたものが以下である。
[機能洗い出し]
・薬を飲む時間が来たら音声でユーザに伝える機能
・ユーザが薬を飲んだことをＡＩスピーカーに伝えたら記録する機能
・薬の質問をしたらそれにこたえる機能（ex:効用、副作用、服用履歴など）
・ＱＲコードから処方箋情報を取得する機能
・服薬状況を本人またはその家族に通知する機能
・医薬品情報を検索する機能
・”ごちそうさま”などに反応して薬の服用を促す機能
[システム開発]
スマホアプリ
・ＱＲコードを読み込み処方情報をクラウド上のサーバへ送信する機能
・クラウド上のサーバから服薬履歴を受信して表示する機能
・インターネット上の薬剤情報を検索する機能
ＡＩスピーカー
・クラウドとの通信
・服薬のお知らせ
・服薬実績の記録
・医薬品情報の提供
クラウド
・クラウドへの格納

また、スマートスピーカーアプリ開発入門を読みDialogFlowで簡単なスキルを作成しようとしたが何かしらの原因でログインすることができなかった。これは次回に持ち込みとなった。クラウドは無料で利用できるXdomainを利用する。

これからの課題
ＡＩスピーカーは特定の人の声を認識することは可能か（ほかの人の声に反応したら正しい薬の服用履歴が格納されないため）、ＡＩスピーカーとクラウドの通信はどのようにすればできるのか、これらを確認するためGoogleHomeを持っているゼミ員に持ってきてもらい検証する。また、ＡＩスピーカーに今日の天気などを聞きどこまでの情報を話してくれるのかの確認を行う。

スマートスピーカー関連書籍の購入と先行事例・既存アプリの確認

「お薬リマインダー」システムの開発をするにあたって購入する本の検討や先行事例について話し合った。

スマートスピーカーを用いた薬のアラートアプリはいくつか存在しており、我々が作ろうとしていたシステムと同様のものは既に開発済みであることがわかった。
しかし、スマホとスマートスピーカーを相互に操作する薬リマインダーシステムは見つからなかったため、付加価値をつけたアプリを作成していくことになった。

次回のゼミではスマホアプリとスマートスピーカーの連携が可能なのか購入した本で確かめ、薬の情報をQRコードで読み込むことが我々でも可能であるのか確かめ、システム開発を進めていく必要がある。

図1．お薬リマインダーのサブシステム

表1.既にあるアプリの洗い出し1

CARADA声でおくすり記録（2019/4/12閲覧） お薬メモ（2019/4/12閲覧） 今日の薬は？（2019/4/12閲覧）

中間発表の日程決め、卒業研究内容決め

中間報告発表の日程決め、卒業研究内容の話し合いを行った。

・卒研テーマ
　「お薬リマインダー」システムの開発

卒業研究では、スマートスピーカーを使って薬の情報を読みとり、薬を飲む時間になるとそのことをお知らせするアプリ（スキル）を作ることになった。

スマートスピーカーにはAmazon echo か、Google Homeを使用予定で
Amazon echoにはAlexa、GoogleHomeにはGoogleアシスタントという人工知能が搭載されており、Alexaは「Alexa Skills Kit（ASK）」Googleアシスタントは「Dialogflow」という開発環境を用いてアプリを作成する。

エンドポイントにはAlexaの場合AWSを使用し、Googleアシスタントの場合はGoogleのクラウドサービスや独自のサーバーを用いることが可能であり、開発言語はどちらもNode.js(JavaScript)が主流とわかった。


スマートスピーカーアプリ開発のための書籍と先行アプリを次回のゼミまでに見つけることになった。それらを元に情報集めや機能決め、開発に足を踏み入れていきたい。

図1．「お薬リマインダーシステム」システム構成

図2．「お薬リマインダーシステム」開発環境

 開発環境の情報を収集するために図書購入を検討する。

1. スマートスピーカーアプリ開発入門 3大スマートスピーカー Amazon Echo Google Home LINE Clova対応（2018/9/15）
2. 【Google Home対応】ステップバイステップで力がつく Googleアシスタントアプリ開発入門（2018/9/4）
3. Amazon Alexa開発ガイド Alexa対応スキル&AVS対応アプリの作り方 (AI & TECHNOLOGY)（2018/8/24）