諸事情あって本日は、解析結果のみの報告となります。
明日以降は、引き続き解析結果の報告及び、各オプションの解析を続けてまいります。
特記事項としては、continuousの結果が改悪してしまっております。
[ 音声ファイル ]
※以前、紹介した60秒の音声から無音の箇所や、リング音の一部を除去して30秒に収めたものです。
(IVR)はい、オプトエスピーでございます。内線番号を押してください。
ピッ、
プルルル(呼び出し音1回)
(私)はい、もしもし、おまたせしました。オプトエスピー上原でございます。
(サポート)えー、セールスフォースドットコムサポート担当の西田と申しますが。
(私)はい、お世話になっております。
(サポート)お世話になっております。
(サポート)えー、お電話でご質問を頂きました(あっ、はいはい)売上予測のデータを外部出力することができるか(うん)という件なんですけれども(ええ)、今この件で少しお時間頂いても大丈夫ですか。
(私)はい、大丈夫です。
[ 解析結果 ]
・通常時(最低限必要な、エンコード、サンプリング周波数、言語コードのみ指定)
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ"
・continuous(多分、文の切れ目までを1つの結果として返却する)
"transcript": "ハイ2 sp でございます来店番号を教えてください"
2016年7月8日金曜日
2016年7月7日木曜日
Google Cloud Speech API日記(11日目)
本日は、オプションのspeechContextについて掘り下げてみます。
まず、speechContextは、解析前に、解析エンジンにヒントを教えるものです。
要するに、この音声には、こんな単語が含まれていますを教えるイメージです。
※昨日と同じオプションで解析した場合は、結果が変わらなかったため、割愛します。
[ 音声ファイル ]
※以前、紹介した60秒の音声から無音の箇所や、リング音の一部を除去して30秒に収めたものです。
(IVR)はい、オプトエスピーでございます。内線番号を押してください。
ピッ、
プルルル(呼び出し音1回)
(私)はい、もしもし、おまたせしました。オプトエスピー上原でございます。
(サポート)えー、セールスフォースドットコムサポート担当の西田と申しますが。
(私)はい、お世話になっております。
(サポート)えー、お電話でご質問を頂きました(あっ、はいはい)売上予測のデータを外部出力することができるか(うん)という件なんですけれども(ええ)、今この件で少しお時間頂いても大丈夫ですか。
(私)はい、大丈夫です。
では、早速結果を見ていきます。
前提として、continuousを常に指定しています。
この結果で、面白いのは、4と5だと思います。
4は、まぁすぐには、学習してくれないよねということがわかりました。
5については、備考に記載した通り、文脈を認識しているようで、断固として、教えてくださいを変えないです。(ここに人間っぽさを感じませんか?)
最後に皆さん気になっていると思いますが、何で最初のIVR以外解析されないの?
というところですが、私なりに解釈すると、音声の波形が変わる(話している人が変わる)と雑音と認識するのか、それ以降は解析しないようです。
<実際の波形>
明日以降は、この仮説を検証してみようと思います。
まず、speechContextは、解析前に、解析エンジンにヒントを教えるものです。
要するに、この音声には、こんな単語が含まれていますを教えるイメージです。
※昨日と同じオプションで解析した場合は、結果が変わらなかったため、割愛します。
[ 音声ファイル ]
※以前、紹介した60秒の音声から無音の箇所や、リング音の一部を除去して30秒に収めたものです。
(IVR)はい、オプトエスピーでございます。内線番号を押してください。
ピッ、
プルルル(呼び出し音1回)
(私)はい、もしもし、おまたせしました。オプトエスピー上原でございます。
(サポート)えー、セールスフォースドットコムサポート担当の西田と申しますが。
(私)はい、お世話になっております。
(サポート)えー、お電話でご質問を頂きました(あっ、はいはい)売上予測のデータを外部出力することができるか(うん)という件なんですけれども(ええ)、今この件で少しお時間頂いても大丈夫ですか。
(私)はい、大丈夫です。
では、早速結果を見ていきます。
前提として、continuousを常に指定しています。
| No. | 指定ワード | 結果 | 備考 |
|---|---|---|---|
| 1 | なし | ハイ2 sp でございます来店番号を教えてください | |
| 2 | 内線番号 | ハイ2 sp でございます内線番号を教えてください | きっちり結果に反映 |
| 3 | 内線番号、オプトエスピー | はいオプトエスピーでございます内線番号を教えてください | きっちり結果に反映 |
| 4 | なし | ハイ2 sp でございます来店番号を教えてください | 学習効果を期待しましたが、改善せず |
| 5 | 内線番号、オプトエスピー、押して下さい | はいオプトエスピーでございます内線番号を教えてください | 文脈も認識しているようで反映されず |
この結果で、面白いのは、4と5だと思います。
4は、まぁすぐには、学習してくれないよねということがわかりました。
5については、備考に記載した通り、文脈を認識しているようで、断固として、教えてくださいを変えないです。(ここに人間っぽさを感じませんか?)
最後に皆さん気になっていると思いますが、何で最初のIVR以外解析されないの?
<実際の波形>
明日以降は、この仮説を検証してみようと思います。
2016年7月5日火曜日
Google Cloud Speech API日記(9日目)
昨日の宣言通り、会話が途中で途切れないような音声にチューニングした上での解析結果になります。
初日のため、まだ解析結果には改善の余地はありそうですが、オプションにcontinuousを指定したときの解析結果は、かなりのものではないでしょうか。
※ただし、かなりの会話が削られているところ及び、文の切れ目を認識できてないところは気になります。
やはり、中途半端な音声ファイルは解析結果に影響がでるようです。
数日後の解析結果も期待できそうです。
[ 新音声ファイル ]
※以前、紹介した60秒の音声から無音の箇所や、リング音の一部を除去して30秒に収めたものです。
(IVR)はい、オプトエスピーでございます。内線番号を押してください。
ピッ、
プルルル(呼び出し音1回)
(私)はい、もしもし、おまたせしました。オプトエスピー上原でございます。
(サポート)えー、セールスフォースドットコムサポート担当の西田と申しますが。
(私)はい、お世話になっております。
(サポート)お世話になっております。
(サポート)えー、お電話でご質問を頂きました(あっ、はいはい)売上予測のデータを外部出力することができるか(うん)という件なんですけれども(ええ)、今この件で少しお時間頂いても大丈夫ですか。
(私)はい、大丈夫です。
[ 解析結果 ]
・通常時(最低限必要な、エンコード、サンプリング周波数、言語コードのみ指定)
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ"
・continuous(多分、文の切れ目までを1つの結果として返却する)
"transcript": "ハイ2 sp でございます内線番号を教えて下さいできるかという間なんですけれど少しお時間いただいても大丈夫ですか"
初日のため、まだ解析結果には改善の余地はありそうですが、オプションにcontinuousを指定したときの解析結果は、かなりのものではないでしょうか。
※ただし、かなりの会話が削られているところ及び、文の切れ目を認識できてないところは気になります。
やはり、中途半端な音声ファイルは解析結果に影響がでるようです。
数日後の解析結果も期待できそうです。
[ 新音声ファイル ]
※以前、紹介した60秒の音声から無音の箇所や、リング音の一部を除去して30秒に収めたものです。
(IVR)はい、オプトエスピーでございます。内線番号を押してください。
ピッ、
プルルル(呼び出し音1回)
(私)はい、もしもし、おまたせしました。オプトエスピー上原でございます。
(サポート)えー、セールスフォースドットコムサポート担当の西田と申しますが。
(私)はい、お世話になっております。
(サポート)お世話になっております。
(サポート)えー、お電話でご質問を頂きました(あっ、はいはい)売上予測のデータを外部出力することができるか(うん)という件なんですけれども(ええ)、今この件で少しお時間頂いても大丈夫ですか。
(私)はい、大丈夫です。
[ 解析結果 ]
・通常時(最低限必要な、エンコード、サンプリング周波数、言語コードのみ指定)
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ"
・continuous(多分、文の切れ目までを1つの結果として返却する)
"transcript": "ハイ2 sp でございます内線番号を教えて下さいできるかという間なんですけれど少しお時間いただいても大丈夫ですか"
2016年7月4日月曜日
ネットワークプログラミングクックブック
0. fork,exec,pipeについて(面白そうなので一読)
0. Interprocess Communication (IPC)
1. selectシステムコールが分かっていなかった
2. ノンブロッキングI/O
3. ファイルディスクリプタ監視システムコール
4. ソケット入門(1)
5. AF_INET、PF_INETの違い
7. TCPを使う(サーバ、SO_REUSEADDR) 再起動時bindエラー回避
0. Interprocess Communication (IPC)
1. selectシステムコールが分かっていなかった
2. ノンブロッキングI/O
3. ファイルディスクリプタ監視システムコール
4. ソケット入門(1)
5. AF_INET、PF_INETの違い
- PFは「ProtocolFamily」の略で、socket関数へ送るもの。AFは「AddressFamily」の略で、connectで使うアドレス指定。Internetではアドレス指定がひとつしかない、つまり同値。
- C言語のソケットプログラミング
7. TCPを使う(サーバ、SO_REUSEADDR) 再起動時bindエラー回避
Google Cloud Speech API日記(6~8日目)
continuous(多分、文の切れ目までを1つの結果として返却する)を指定したときの結果に変化がありました。
また、この変化が興味深い結果となりました。
具体的には、1度改善された結果が翌日元に戻るというものです。
この結果の意味するところ、会話が途中で切れるような音声ファイルだと結果も不安定になるようです。
そのため、明日以降、会話が途中で切れないような音声ファイルにチューニングした上で検証を続けようと思います。
[ 音声ファイル]
(IVR)はい、オプトエスピーでございます。内線番号を押してください。
ピッ、ポッ、パッ
プルルル(呼び出し音5回)
(私)はい、もしもし、おまたせしました。オプトエスピー上原でございま
※30秒で強制的に音声を切っているため中途半端な状態になっています。
[ 解析結果 ]
返却結果のtranscript(音声解析結果)以外に変化はなかったので、そこだけ抽出して結果として残しております。
<2016/07/02>
・通常時(最低限必要な、エンコード、サンプリング周波数、言語コードのみ指定)
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ まし|マシ た|タ"
⇒改善なしです。
・continuous(多分、文の切れ目までを1つの結果として返却する)
"transcript": "はいオプト sp でございます内線番号を教えてください"
"transcript": "もしもしまたしましたお手数上原でございま"
⇒まだ、数箇所誤認識はありますが、内線番号及び上原を正しく認識しており、かなりの改善がみられました。
<2016/07/03>
・通常時(最低限必要な、エンコード、サンプリング周波数、言語コードのみ指定)
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ まし|マシ た|タ"
⇒改善なしです。
・continuous(多分、文の切れ目までを1つの結果として返却する)
"transcript": "アイオプトエスピーでございます支店番号を教えてください"
"transcript": "明日でござい"
⇒なんと、結果が元に戻ってしまいました。
<2016/07/04>
・通常時(最低限必要な、エンコード、サンプリング周波数、言語コードのみ指定)
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ まし|マシ た|タ"
⇒改善なしです。
・continuous(多分、文の切れ目までを1つの結果として返却する)
"transcript": "アイオプトエスピーでございます支店番号を教えてください"
"transcript": "明日でござい"
⇒改善なしです。
また、この変化が興味深い結果となりました。
具体的には、1度改善された結果が翌日元に戻るというものです。
この結果の意味するところ、会話が途中で切れるような音声ファイルだと結果も不安定になるようです。
そのため、明日以降、会話が途中で切れないような音声ファイルにチューニングした上で検証を続けようと思います。
[ 音声ファイル]
(IVR)はい、オプトエスピーでございます。内線番号を押してください。
ピッ、ポッ、パッ
プルルル(呼び出し音5回)
(私)はい、もしもし、おまたせしました。オプトエスピー上原でございま
※30秒で強制的に音声を切っているため中途半端な状態になっています。
[ 解析結果 ]
返却結果のtranscript(音声解析結果)以外に変化はなかったので、そこだけ抽出して結果として残しております。
<2016/07/02>
・通常時(最低限必要な、エンコード、サンプリング周波数、言語コードのみ指定)
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ まし|マシ た|タ"
⇒改善なしです。
・continuous(多分、文の切れ目までを1つの結果として返却する)
"transcript": "はいオプト sp でございます内線番号を教えてください"
"transcript": "もしもしまたしましたお手数上原でございま"
⇒まだ、数箇所誤認識はありますが、内線番号及び上原を正しく認識しており、かなりの改善がみられました。
<2016/07/03>
・通常時(最低限必要な、エンコード、サンプリング周波数、言語コードのみ指定)
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ まし|マシ た|タ"
⇒改善なしです。
・continuous(多分、文の切れ目までを1つの結果として返却する)
"transcript": "アイオプトエスピーでございます支店番号を教えてください"
"transcript": "明日でござい"
⇒なんと、結果が元に戻ってしまいました。
<2016/07/04>
・通常時(最低限必要な、エンコード、サンプリング周波数、言語コードのみ指定)
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ まし|マシ た|タ"
⇒改善なしです。
・continuous(多分、文の切れ目までを1つの結果として返却する)
"transcript": "アイオプトエスピーでございます支店番号を教えてください"
"transcript": "明日でござい"
⇒改善なしです。
2016年7月1日金曜日
Google Cloud Speech API日記(5日目)
解析結果は、昨日と変わらずです。本日は、オプションを指定して解析結果の変化を見ていこうと思います。
<2016/07/01>
・通常時(最低限必要な、エンコード、サンプリング周波数、言語コードのみ指定)
{
"responses": [
{
"results": [
{
"alternatives": [
{
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ まし|マシ た|タ"
}
],
"isFinal": true
}
]
}
]
}
・maxAlternatives(仮説の最大数:結果をいくつまで返却するかだと思う)に0、5を指定
※結果が変わらなかったので、Responnseは割愛
・profanityFilter(汚い言葉をフィルタする)にtrueを指定
※当然、結果は変わらなかったので、Responseは割愛
・continuous(多分、文の切れ目までを1つの結果として返却する)
この結果は、少し面白かったです。
結果としては、指定しないより、意味が通っているように思われます。
ただ、指定前は解析できていた内線番号を支店番号と誤って解析しています。
上記より、文の切れ目を、意識させると解析結果がよくなるのかも知れません。
そのため、今回の音声解析がなかなか改善しないのは、途中で無理やり音声を切っているからかも。
もう少し様子をみて改善しないようであれば、途中で切れずかつ、30秒で収まる音声を作ることも検討します。
{
"responses": [
{
"results": [
{
"alternatives": [
{
"transcript": "アイオプトエスピーでございます支店番号を教えてください",
"confidence": 1
}
],
"isFinal": true
}
]
},
{
"results": [
{
"alternatives": [
{
"transcript": "明日でござい",
"confidence": 1
}
],
"isFinal": true
}
],
"resultIndex": 1
}
]
}
明日以降も、引き続き様々なオプションを試してみます。
<2016/07/01>
・通常時(最低限必要な、エンコード、サンプリング周波数、言語コードのみ指定)
{
"responses": [
{
"results": [
{
"alternatives": [
{
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ まし|マシ た|タ"
}
],
"isFinal": true
}
]
}
]
}
・maxAlternatives(仮説の最大数:結果をいくつまで返却するかだと思う)に0、5を指定
※結果が変わらなかったので、Responnseは割愛
・profanityFilter(汚い言葉をフィルタする)にtrueを指定
※当然、結果は変わらなかったので、Responseは割愛
・continuous(多分、文の切れ目までを1つの結果として返却する)
この結果は、少し面白かったです。
結果としては、指定しないより、意味が通っているように思われます。
ただ、指定前は解析できていた内線番号を支店番号と誤って解析しています。
上記より、文の切れ目を、意識させると解析結果がよくなるのかも知れません。
そのため、今回の音声解析がなかなか改善しないのは、途中で無理やり音声を切っているからかも。
もう少し様子をみて改善しないようであれば、途中で切れずかつ、30秒で収まる音声を作ることも検討します。
{
"responses": [
{
"results": [
{
"alternatives": [
{
"transcript": "アイオプトエスピーでございます支店番号を教えてください",
"confidence": 1
}
],
"isFinal": true
}
]
},
{
"results": [
{
"alternatives": [
{
"transcript": "明日でござい",
"confidence": 1
}
],
"isFinal": true
}
],
"resultIndex": 1
}
]
}
明日以降も、引き続き様々なオプションを試してみます。
2016年6月30日木曜日
Google Cloud Speech API日記(4日目)
解析結果は、昨日と変わらなかったので、ここまでで分かった範囲の制約をまとめておきます。
<2016/06/30>
音声ファイル
(IVR)はい、オプトエスピーでございます。内線番号を押してください。
ピッ、ポッ、パッ
プルルル(呼び出し音5回)
(私)はい、もしもし、おまたせしました。オプトエスピー上原でございま
※30秒で強制的に音声を切っているため中途半端な状態になっています。
[ 解析結果 ]
{
"responses": [
{
"results": [
{
"alternatives": [
{
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ まし|マシ た|タ"
}
],
"isFinal": true
}
]
}
]
}
[ 制約実行 ]
1. コーデックは可逆圧縮のみ対応。
そのため、ACCは、FLACなどの可逆圧縮コーデックに変換する必要があります。
ちなみに昨日からの解析で使用している音声は、ACCをFLACに変換したものです。
2. FLACの場合、サンプリング周波数を44,100にすると解析に失敗する。
閾値がどこかは、調査して報告します。
3. 録音時間が1分越える音声ファイルを解析しようとすると、以下のエラーメッセージが返却される。
"For audio inputs longer than 1 min, use the 'output_uri' pararameter to specify an output file."
4. 録音時間が45秒以上の音声ファイルを解析しようとすると、サーバーエラー(Error 502 (Server Error))が発生する。
よくよくみると以下のメッセージがレスポンスに含まれているため、実質30秒が現時点の閾値なのでしょう。
"The server encountered a temporary error and could not complete your request.<p>Please try again in 30 seconds. "
<2016/06/30>
音声ファイル
(IVR)はい、オプトエスピーでございます。内線番号を押してください。
ピッ、ポッ、パッ
プルルル(呼び出し音5回)
(私)はい、もしもし、おまたせしました。オプトエスピー上原でございま
※30秒で強制的に音声を切っているため中途半端な状態になっています。
[ 解析結果 ]
{
"responses": [
{
"results": [
{
"alternatives": [
{
"transcript": "ハイ|ハイ 2|ツー,ニ,フタ,フツ,ブタ sp|エスピー で|デ ござい|ゴザイ ます|マス 内線|ナイセン 番号|バンゴー を|オ 教え|オシエ て|テ ください|クダサイ まし|マシ た|タ"
}
],
"isFinal": true
}
]
}
]
}
[ 制約実行 ]
1. コーデックは可逆圧縮のみ対応。
そのため、ACCは、FLACなどの可逆圧縮コーデックに変換する必要があります。
ちなみに昨日からの解析で使用している音声は、ACCをFLACに変換したものです。
2. FLACの場合、サンプリング周波数を44,100にすると解析に失敗する。
閾値がどこかは、調査して報告します。
3. 録音時間が1分越える音声ファイルを解析しようとすると、以下のエラーメッセージが返却される。
"For audio inputs longer than 1 min, use the 'output_uri' pararameter to specify an output file."
4. 録音時間が45秒以上の音声ファイルを解析しようとすると、サーバーエラー(Error 502 (Server Error))が発生する。
よくよくみると以下のメッセージがレスポンスに含まれているため、実質30秒が現時点の閾値なのでしょう。
"The server encountered a temporary error and could not complete your request.<p>Please try again in 30 seconds. "
登録:
投稿 (Atom)