2019年4月26日金曜日

実際にAIスピーカーを使ってみよう!

●実際にAIスピーカーを使ってみて

今日は内田君の私物のGooglehomeを使ってどんなことができるのかを試してみた。
その結果ゼミの研究に使えそうなことは以下のようなことがあった。
・リマインダー(声別に認証できる)
・薬の情報を聞くと教えてくれる。(一般名じゃないとできない)
・Googlehomeアプリの’ルーティン’から特定のことを話しかけるだけでいろいろできそう
(時間や曜日も設定できる)
・近くの病院を教えてくれる
・声認証ができる(その声の持ち主でないと答えてくれないためプライバシーを守れる)
・googleのカレンダーに予定が入っていたら聞くと教えてくれる。

などのことができると分かった。

Googlehome1つでも結構なことができると分かったため、今後は
・スプレッドシートに服用管理ができるようする。
・リマインダーやルーティンを活用していく。
ことをしていけばもう少ししたいことに近づくと思った。

「Google-home-notifier」を使うともっとできることが広がるということが分かった。
ゼミの研究に使えそうなことは以下のようなことがあった。
・予定の通知
・LINEで送信したメッセージを読み上げる
・温度管理で熱中症対策
・薬を飲む時間を通知
などのことができると分かった。これを使うとGoogleHomeを自発的にしゃべらせることができるため今後はこれを活用していきたいと思う。


参考文献
「Google Home」が自発的におしゃべりするようになる?!
https://iedge.tech/article/7913/
5/8参照







2019年4月19日金曜日

GoogleHomeに追加すべき機能の再度洗い出し

「お薬リマインダー」について前回話し合い、秀和システムの「スマートスピーカーアプリ開発入門」を読みアレクサとGoogleHome、どちらのほうが開発に向いているのか話し合った。話し合った結果GoogleHomeを利用することにまとまった。

GoogleHomeではどのようなことができるのか、追加しなければいけないスキルはどのようなものがあるのかもう一度洗いだした追加で案がいくつか出た。再度何が必要なのか洗い出ししたものが以下である。
[機能洗い出し]
・薬を飲む時間が来たら音声でユーザに伝える機能
・ユーザが薬を飲んだことをAIスピーカーに伝えたら記録する機能
・薬の質問をしたらそれにこたえる機能(ex:効用、副作用、服用履歴など)
・QRコードから処方箋情報を取得する機能
・服薬状況を本人またはその家族に通知する機能
・医薬品情報を検索する機能
・”ごちそうさま”などに反応して薬の服用を促す機能
[システム開発]
スマホアプリ
・QRコードを読み込み処方情報をクラウド上のサーバへ送信する機能
・クラウド上のサーバから服薬履歴を受信して表示する機能
・インターネット上の薬剤情報を検索する機能
AIスピーカー
・クラウドとの通信
・服薬のお知らせ
・服薬実績の記録
・医薬品情報の提供
クラウド
・クラウドへの格納

また、スマートスピーカーアプリ開発入門を読みDialogFlowで簡単なスキルを作成しようとしたが何かしらの原因でログインすることができなかった。これは次回に持ち込みとなった。クラウドは無料で利用できるXdomainを利用する。

これからの課題
AIスピーカーは特定の人の声を認識することは可能か(ほかの人の声に反応したら正しい薬の服用履歴が格納されないため)、AIスピーカーとクラウドの通信はどのようにすればできるのか、これらを確認するためGoogleHomeを持っているゼミ員に持ってきてもらい検証する。また、AIスピーカーに今日の天気などを聞きどこまでの情報を話してくれるのかの確認を行う。


2019年4月12日金曜日

スマートスピーカー関連書籍の購入と先行事例・既存アプリの確認

「お薬リマインダー」システムの開発をするにあたって購入する本の検討や先行事例について話し合った。

スマートスピーカーを用いた薬のアラートアプリはいくつか存在しており、我々が作ろうとしていたシステムと同様のものは既に開発済みであることがわかった。
しかし、スマホとスマートスピーカーを相互に操作する薬リマインダーシステムは見つからなかったため、付加価値をつけたアプリを作成していくことになった。

次回のゼミではスマホアプリとスマートスピーカーの連携が可能なのか購入した本で確かめ、薬の情報をQRコードで読み込むことが我々でも可能であるのか確かめ、システム開発を進めていく必要がある。

図1.お薬リマインダーのサブシステム

表1.既にあるアプリの洗い出し1


CARADA声でおくすり記録(2019/4/12閲覧)
お薬メモ(2019/4/12閲覧)
今日の薬は?(2019/4/12閲覧)






2019年4月5日金曜日

中間発表の日程決め、卒業研究内容決め

中間報告発表の日程決め、卒業研究内容の話し合いを行った。

・卒研テーマ
 「お薬リマインダー」システムの開発

卒業研究では、スマートスピーカーを使って薬の情報を読みとり、薬を飲む時間になるとそのことをお知らせするアプリ(スキル)を作ることになった。

スマートスピーカーにはAmazon echo か、Google Homeを使用予定で
Amazon echoにはAlexa、GoogleHomeにはGoogleアシスタントという人工知能が搭載されており、Alexaは「Alexa Skills Kit(ASK)」Googleアシスタントは「Dialogflow」という開発環境を用いてアプリを作成する。

エンドポイントにはAlexaの場合AWSを使用し、Googleアシスタントの場合はGoogleのクラウドサービスや独自のサーバーを用いることが可能であり、開発言語はどちらもNode.js(JavaScript)が主流とわかった。


スマートスピーカーアプリ開発のための書籍と先行アプリを次回のゼミまでに見つけることになった。それらを元に情報集めや機能決め、開発に足を踏み入れていきたい。

図1.「お薬リマインダーシステム」システム構成

図2.「お薬リマインダーシステム」開発環境
 開発環境の情報を収集するために図書購入を検討する。
  1. スマートスピーカーアプリ開発入門 3大スマートスピーカー Amazon Echo Google Home LINE Clova対応(2018/9/15)
  2. 【Google Home対応】ステップバイステップで力がつく Googleアシスタントアプリ開発入門(2018/9/4)
  3. Amazon Alexa開発ガイド Alexa対応スキル&AVS対応アプリの作り方 (AI & TECHNOLOGY)(2018/8/24)


2019年1月25日金曜日

もう一つの医療ビッグデータ ─闘病記を医療に活かす─

今回は「もう一つの医療ビッグデータ ─闘病記を医療に活かす─」[1]を読んだ。

論文概要
医療においてビッグデータの利活用が注目されている。しかし現在注目されているビッグデータはあくまで医療者が記録した物である。この論文では患者の記録した物(闘病記)をビッグデータとして活用するため、研究アプローチ、教育アプローチ、QOLアプローチのの観点からそれぞれ、ビッグデータとして活用する為、どのような課題があるかを記している。


所感
今までのビッグデータとは違った目線から見ることのできる闘病記というものは今後、医療を発展させていく為重要な物になると感じた。だが、医療者が書いたものでないという点で、医学用語として正しくないものや、正確性を意図したものでないため見る人によって解釈が変わってしまうという問題もあるため、素直に活用させていくのは難しいのではないのか、とも感じた。もしこういった問題を解決することができれば非常に重要なデータになると思う。


[1]荒牧 栄治,島本 裕美子,久保 圭,仲村 哲明,四方 朱子,宮部 真衣:もう一つの医療ビッグデータ ─闘病記を医療に活かす─,599-603 (2014-11-01)

2019年1月21日月曜日

リズム認証の改良 (Ajax)

今回のゼミでは今まで7つの時間差を手作業でExcelファイルに入力していたがとても面倒であるため自動化することを考えた。

1.データベース


表1.rhythmテーブル
項目
格納するデータ
ID
レコードを識別するID。主キー。自動インクリメント
patientId
患者番号(学籍番号)
measurement_time
計測日時(データベースへ書き込んだ日時を設定する)
t1~t7
計測した7つの時間差データがt1~t7に入る


2.インターフェイス

{
  "rhythms": [
    {
      "patientId": "w9999999",  ← 利用者番号
      "name": "〇〇 〇〇",      ← 利用者氏名
      "t": [
        45,
        70,
        96,
        204,       計測した時間(配列)
        62,
        90,
        61
      ]
    }
  ]
}

図2.JSON形式の送信データ

3.WebAPI

表2.WebAPIの仕様
項目
内容
url
http://hinfo〇〇〇.php.xdomain.jp/〇〇〇2018/putRhythmData.php
メソッド
post
data
図2に示すJSON形式のデータ

4.Ajax

function putRhythmData(t) {
  var data = {
    'rhythms': [
      {
        'patientId': 'w9999999',  // ここには自分の学番を書く
        'name': '〇〇 〇〇',  // ここには自分の名前を書く
        't': t  // 引数で受け取った計測時間配列 t をセットする
      }
    ]
  }
  var url = 'http://hinfo〇〇〇.php.xdomain.jp/〇〇〇2018/putRhythmData.php';
  var formData = new FormData();
  formData.append('rhythms', JSON.stringify(data));
$.ajax({
      url: url,
      method: 'post',
      async: true,
  data: formData,
  processData: false,  // Ajaxがデータを整形しない
  contentType: false
    }).done(function(response, status, xhr){
      if (response != null) {
        var res = JSON.parse(response);
        alert('送信成功:' + unescape(JSON.stringify(res)));
      } else {
        alert('送信失敗:');
      }
    }).fail(function(xhr, status, error){
      var message = "xhr.status = " + xhr.status + ", xhr.statusText = " + xhr.statusText
    + ", status = " + status + ", error = " + error + '\n\nurl=' + url;
      alert('サーバからの応答がありません。status=' + message);
    });
    formData = null;
}
図3.Ajaxを使ってリズム認証サーバへ計測データを送信する関数putRhythmData

5.スマホアプリの修正
Monacaのプロジェクト「リズム認証」のmain.jsに対して次の修正を行う。
  1. 図3の関数を追加する(場所:関数show_timeのあと)
  2. 関数show_timeに関数putRhythmDataの呼び出しを追加する(場所:関数show_timeの末尾)
function show_time() {
  var t = [];
  var prev = 0;
  touch_time.forEach(function(e){
    if (prev > 0) {
      ti = e.time - prev;
      t.push(ti);
      $('#result').append(ti + '<br />');
    }
    prev = e.time;
  });
  putRhythmData(t);
  $('#canvas').css('display','none');
}
図4.関数putRhythmDataの呼び出し

6.テスト
Monacaの修正が終わったら動作確認を行う。リズム認証を起動して[スタート]ボタンをタップして表示される黄色いキャンバスを4回タップする。
次にブラウザに以下のURLを入力する。
http://hinfo〇〇〇.php.xdomain.jp/〇〇〇2018/putRhythmData.php?patientId=[自分の学番]
すると、ブラウザに指定したpatientIdの計測データがJSON形式で表示されるので、それをコピーしてJSON整形サイト[2]へ貼り付けて整形する。
あるいはphpMyAdminを通じてダイレクトにデータベースのrhythmテーブルを参照してもよい。
https://phpmyadmin2.php.xdomain.ne.jp/?

7.感想
いよいよ来週テーマ決め前最後のアプリ作成となる音声認証や輪読を生かしたいいものがつくれればなと思う。



参考文献

  1. @zakiyamaaaaa:はじめてのAjax(jQuery) 2018年版. https://qiita.com/zakiyamaaaaa/items/bdda422db2ccbaea60d9, 2018/9/6, (2019/1/27参照)
  2. JSON Pretty Print. https://jsonformatter.org/json-pretty-print, (2019/1/27参照)

2019年1月16日水曜日

携帯情報端末を用いた電子カルテへの写真登録システムの構築と評価

今回は「携帯情報端末を用いた電子カルテへの写真登録システムの構築と評価」を読んだ[1]。

論文概要

富山大学附属病院ではスマートフォンより無線LAN経由で撮影した写真を電子カルテに経過記録として転送する臨床写真登録システムを電子カルテの拡張機能として稼働させた。2015年1月から12月までの臨床写真登録システムの利用状況は3408件であり、従来利用していたデジカメは1434件であった。前年のデジカメの写真登録件数は1251件でデジカメは従来通り必要であるが、電子カルテへの総写真登録件数は増加しており業務の効率化に寄与できたといえる。

所感

実際の病院現場でスマートフォン端末をどのようなことに活用できるのか参考になった。病院現場でスマートフォンを用いるためには真正性をより担保する必要があることがわかり、どのような手段をとれば認証に時間や手間がかからず、本人が利用していることが確認できるのか考えるのも研究として面白いのではないかと思った。スマートフォンを紛失するリスクに対しても考えられており、患者さんの個人情報を守るための対策として必要な機能なども学ぶことができた。病院側の利用するアプリケーションを作成する際には是非取り入れていきたいと思う。

参考文献

[1]辻岡和孝、中川肇:携帯情報端末を用いた電子カルテへの写真登録システムの構築と評価.「医療情報学」, 197-204, 2017.