NTT Docomo AIエージェント基盤「SEBASTIEN」 を XMOS VocalFusion と Raspberry Pi で使ってみる

NTT Docomo より提供されている AI エージェント基盤「SEBASTIEN」。
 
音声処理デバイス(エコーキャンセル、ノイズ削減、ビームフォーミング処理等)として、XMOS社 VocalFusion スピーカー開発キット を使用できます。これにより、よりクリアな音声を SEBASTIEN に入力することができます。
 
以下では、XMOS社VocalFusion スピーカー開発キット (XK-VF3100-L33) と、 Raspberry Pi 3 (RPi3 Model B) を使用して、SEBASTIEN の使用例(設定例)についてご紹介します。
 
※この記事は、2018年7月2日時点の設定・動作になります。
 このビデオでは、VNC で Raspberry Pi の 画面を、iMac に表示しています。


   

ここでは、以下の手順で進めていきます。
(1)SEBASTIEN ダッシュボード側の設定
(2)Raspberry Pi 側の設定
(3)XMOS  VocalFusion スピーカー開発キット と接続して使用してみる



XMOS VocalFusion は、ホスト・プロセッサー (ここではRaspberry Pi) と、USB または I2S インターフェースで接続できます。ここでは、設定が簡単な、USB (USB Audio)でホスト・プロセッサーと接続する例をご紹介します。


(1)SEBASTIEN ダッシュボード側の設定

ドキュメントが、https://docs.sebastien.ai/index.html に公開されています。まずは、これに従って設定していきます。

ダッシュボードには、UDS (User Dashboard) と DDS (Developer Dashboard) があります。

DDS に会話の各種設定を行なっていきます。UDSでは、デバイスを登録できるようなのですが、今回は後ほど登録作業を行います。

DDS, UDS 共に、ログイン ID が必要です。ログインには、Google ID か、dアカウントが必要です。同じログインIDを使用して、ログインします。
 UDS: https://users.sebastien.ai/
 DDS: https://developers.sebastien.ai/https://developers.sebastien.ai/sign_in
 
 
UDSログイン画面:


DDSログイン画面:

 
UDSログイン後の画面:


DDSログイン後の画面:




(1−1)DDSの設定を行う ー お天気くんを作成する。

以下のURLに「Expert Agent作成・公開チュートリアル:基本編、5ステップで始めるExpert Agent作成」が記載されています。
 https://docs.sebastien.ai/dds/tutorial.html

まずは、このドキュメントの「ステップ3:動作テスト」まで、設定していきます。
このドキュメントは、丁寧に記載されていますので、前述のURLをご参照ください。



(2)Raspberry Pi の設定

(2−1) Raspbian のダウンロード (Raspbian Stretch)

 
以下のURLより、Raspbian Stretch をダウンロードします。
https://www.raspberrypi.org/downloads/raspbian/
 
  

(2−2)Rasbian のインストール


16GB SDカードに、Raspbian のイメージ・ファイルをインストールします。
以下では、macOS での操作を記載しています。
  
ディスク・ユーティリティで、"disk?" 番号を確認します。
以下では、「装置」箇所に、"disk2s1" と表示されています。この番号を記録しておきます。
 
また、ディスク・ユーティリティ Window の、上部に「マウント解除」ボタンがあります。
左側に表示されるデバイス一覧から、SDカードを選択後、「マウント解除」ボタンをクリックします。
  

その後、ダウンロードした Raspbian のイメージ・ファイルを、Terminal から、以下のコマンドでSDカードに書き込みます。
このとき、先ほど確認した "disk?" の番号を入力します。以下では、"rdisk2" と設定しています。
  

$  sudo  dd  bs=1m  if=2018-04-18-raspbian-stretch.img  of=/dev/rdisk2 conv=sync
  
 
SDカードへの書き込み後、SDカードを Raspberry Pi 3 に挿入し、電源を入れます。
  

  
  

(2−3)USB Audio の有効化


Rasbperry Pi と XMOS社VocalFusion スピーカー開発キット (XK-VF3100-L33)は、I2S インターフェースまたは、USB Audio で通信することができます。
 
今回は、Raspberry Pi 側の設定が簡単な USB Audio で接続します。Raspberry Pi 側の Audio 設定も、以下の手順で USB Audio に設定します。
  
 
「/etc/modprobe.d/alsa-base.conf」を作成。ファイルには次の2行のみ記載する。

options snd slots=snd_usb_audio
options snd_usb_audio index=0
 
「/usr/share/alsa/alsa.conf」の一行をコメントアウトする(赤字の部分)。
@hooks [
   {
      func load
      files [
         {
            @func concat
            strings [
               { @func datadir }
               "/alsa.conf.d/"
            ]
         }
         "/etc/asound.conf"
#         "~/.asoundrc"   
      ]
      errors false
   }
]
 
 
「/boot/config.txt」 内で、BCM 2835 を有効にしている部分を、"off" に設定(赤字の部分)
 


#Enable audio (loads snd_bcm2835)
dtparam=audio=off
  
 

(2−4)SEBASTIEN Linux CLIENT アプリのインストール

以下のURLより、Linux CLIENT をダウンロードします。
https://download.sebastien.ai/ 



ダウンロードしたファイル(例:sebastien_client_0.5.1.tar.gz)を、Raspberry Pi 上で展開します。Terminal を開いて実行します。

展開コマンド:
 tar  zxvfp  sebastien_client_0.5.1.tar.gz

展開後、sebastien_client_0.5.1 (例)の Directory に移動して、start.sh を実行します。

 bash  start.sh

(その後、まだキーボードから何も入力しないでください)




前述のように、start.sh を初めて実行したときに、https://users.sebastien.ai/... で始まる URL が画面に表示されます。
この URL をコピーして、Web browser のURL部分に入力して、開きます。


ログイン画面が開きますので、前述のUDS: https://users.sebastien.ai/でログインした時の ID でログインします。

ログインが成功すると、この Raspberry Pi が UDS に登録されます。
その後、"bash start.sh" を実行した Terminal に戻り、リターンキーを押します。


設定はこれで終わりです。


(3)XMOS  VocalFusion スピーカー開発キット と接続して使用してみる

XMOS VocalFusion スピーカー開発キット側には、以下のファームウエアを書き込んで使用します。
 Sample rate: 16kHz
 Host Interface:  USB (USB-IN:1ch,  USB:OUT: 2ch)

以下の写真のように、USBケーブルで、Raspberry Pi と接続します。
また、スピーカーを、VocalFusion スピーカー開発キット (XK-VF3100-L33) の Audio Out に接続します。




ここで、Raspberry Pi を reboot 後、前述の "bash start.sh" を再度実行すると、SEBASTIEN が動作します。

動作後、次を発話すると、先ほどDDS で設定した「お天気くん」が動作します。お試しください。
 ”お天気くん 呼んで”
 ”明日の沖縄の天気は?”


NTT Docomo 提供の、AIエージェント基盤「SEBASTIEN」の音声処理デバイスとして、VocalFusion スピーカー開発キット を使用できることがお分かり頂けたと思います。

(その他の投稿については、右上の「ページ」をご確認ください)

0 件のコメント:

コメントを投稿