Учим браузер понимать и разговаривать

Звук

Звук — физическое явление, представляющее собой распространение в виде упругих волн механических колебаний в твёрдой, жидкой или газообразной среде.

Форманты

Спустя огромное количество больших формул

Уровни распознавания речи

1. Ввод и предварительная обработка сигналов
2. Распознование слов и морфем
3. Смысловой контроль

Части

1. Расспознавание речи
2. Грамматика
3. Синтез речи

Расспознавание речи

				var recognition = new webkitSpeechRecognition();

    			recognition.onresult = function(event) {
			      if (event.results.length > 0) {                                    
			        q.value = event.results[0][0].transcript;
			      }
			     }
			    
			    recognition.start();
			

Расспознавание речи

				var recognition = new webkitSpeechRecognition();
				
    			recognition.onresult = function(event) {
			      if (event.results.length > 0) {                                    
			        q.value = event.results[0][0].transcript;
			      }
			     }
			    

			    recognition.start();
			

Расспознавание речи

				var recognition = new webkitSpeechRecognition();
				
    			recognition.onresult = function(event) {
			      if (event.results.length > 0) {                                    
			        q.value = event.results[0][0].transcript;
			      }
			     }
			    

			    recognition.start();
			

Расспознавание речи

				var recognition = new webkitSpeechRecognition();
				
    			recognition.onresult = function(event) {
			      if (event.results.length > 0) {                                    
			        q.value = event.results[0][0].transcript;
			      }
			     }
			    

			    recognition.start();
			

Результаты

				{ 0: {
						confidence: 0.9320464730262756,
						transcript: "зубная паста"
				}, 1: {
						confidence: 0.3405290540655,
						transcript: "зубная паста спб"
					},
					isFinal:true,
					length: 2 }
			

Результаты

				{ 0: {
						confidence: 0.9320464730262756,
						transcript: "зубная паста"
				}, 1: {
						confidence: 0.3405290540655,
						transcript: "зубная паста спб"
					},
					isFinal:true,
					length: 2 }
			

Результаты

				{ 0: {
						confidence: 0.9320464730262756,
						transcript: "зубная паста"
				}, 1: {
						confidence: 0.3405290540655,
						transcript: "зубная паста спб"
					},
					isFinal:true,
					length: 2 }
			

Возможности

1. Непрерывное распознование речи continuous
2. Промежуточные результаты interimResults
3. Язык lang
4. Количество альтернатив maxAlternatives
5. Грамматика grammars

Демо

Генерация речи

				var u = new SpeechSynthesisUtterance();
				
				u.text = 'Привет';
     			u.lang = 'ru-RU';

			    speechSynthesis.speak(u);
			

Генерация речи

				var u = new SpeechSynthesisUtterance();
				
				u.text = 'Привет';
     			u.lang = 'ru-RU';

			    speechSynthesis.speak(u);
			

Генерация речи

				var u = new SpeechSynthesisUtterance();
				
				u.text = 'Привет';
     			u.lang = 'ru-RU';

			    speechSynthesis.speak(u);
			

Генерация речи

				var u = new SpeechSynthesisUtterance();
				
				u.text = 'Привет';
     			u.lang = 'ru-RU';

			    speechSynthesis.speak(u);
			

Возможности

1. Громкость volume
2. Частота pitch
3. Скорость rate
4. Язык lang
5. Голос voice

Альтернативы

1. masswerk.at/mespeak/
2. uglyhack.appspot.com/webaudiotoy/

Pocketsphinx.js

1. pocketsphinx.js
2. recognizer.js
3. audioRecorder.js
4. callbackManager.js

Pocketsphinx.js

				var audioContext = new AudioContext();
				
    			navigator.getUserMedia({audio: true}, function(stream) {
					var input = audioContext.createMediaStreamSource(stream);
					recorder = new AudioRecorder(input);
					recognizer = new Module.Recognizer();
					recorder.consumers.push(recognizer);
					recorder.start();
				}, function(e) {});

			

Pocketsphinx.js

				var audioContext = new AudioContext();
				
    			navigator.getUserMedia({audio: true}, function(stream) {
					var input = audioContext.createMediaStreamSource(stream);
					recorder = new AudioRecorder(input);
					recognizer = new Module.Recognizer();
					recorder.consumers.push(recognizer);
					recorder.start();
				}, function(e) {});

			

Pocketsphinx.js

				var audioContext = new AudioContext();
				
    			navigator.getUserMedia({audio: true}, function(stream) {
					var input = audioContext.createMediaStreamSource(stream);
					recorder = new AudioRecorder(input);
					recognizer = new Module.Recognizer();
					recorder.consumers.push(recognizer);
					recorder.start();
				}, function(e) {});

			

Pocketsphinx.js

				var audioContext = new AudioContext();
				
    			navigator.getUserMedia({audio: true}, function(stream) {
					var input = audioContext.createMediaStreamSource(stream);
					recorder = new AudioRecorder(input);
					recognizer = new Module.Recognizer();
					recorder.consumers.push(recognizer);
					recorder.start();
				}, function(e) {});

			

Pocketsphinx.js

				var audioContext = new AudioContext();
				
    			navigator.getUserMedia({audio: true}, function(stream) {
					var input = audioContext.createMediaStreamSource(stream);
					recorder = new AudioRecorder(input);
					recognizer = new Module.Recognizer();
					recorder.consumers.push(recognizer);
					recorder.start();
				}, function(e) {});

			

Фонемы

				var recognizer = new Module.Recognizer(),
				words = new Module.VectorWords()
				words.push_back(["Привет", "PR EE V ET"]);
				words.push_back(["мир", "M IY R"]);
				recognizer.addWords(words)
			

Фонемы

				var recognizer = new Module.Recognizer(),
				words = new Module.VectorWords()
				words.push_back(["Привет", "PR EE V ET"]);
				words.push_back(["мир", "M IY R"]);
				recognizer.addWords(words)
			

Грамматика

				 {numStates: 3, start: 0, end: 3, transitions: [
				 	{from: 0, to: 1, word: "WINDOWS"}, 
				 	{from: 0, to: 1, word: "LINUX"},  
				 	{from: 1, to: 2, word: "IS"}, 
				 	{from: 2, to: 2, word: "NOT"}, 
				 	{from: 2, to: 3, word: "GOOD"},
				 	{from: 2, to: 3, word: "BAD"}]}
			

Грамматика

				 {numStates: 3, start: 0, end: 3, transitions: [
				 	{from: 0, to: 1, word: "WINDOWS"}, 
				 	{from: 0, to: 1, word: "LINUX"},  
				 	{from: 1, to: 2, word: "IS"}, 
				 	{from: 2, to: 2, word: "NOT"}, 
				 	{from: 2, to: 3, word: "GOOD"},
				 	{from: 2, to: 3, word: "BAD"}]}
			

Грамматика

				 {numStates: 3, start: 0, end: 3, transitions: [
				 	{from: 0, to: 1, word: "WINDOWS"}, 
				 	{from: 0, to: 1, word: "LINUX"},  
				 	{from: 1, to: 2, word: "IS"}, 
				 	{from: 2, to: 2, word: "NOT"}, 
				 	{from: 2, to: 3, word: "GOOD"},
				 	{from: 2, to: 3, word: "BAD"}]}
			

Грамматика

				 {numStates: 3, start: 0, end: 3, transitions: [
				 	{from: 0, to: 1, word: "WINDOWS"}, 
				 	{from: 0, to: 1, word: "LINUX"},  
				 	{from: 1, to: 2, word: "IS"}, 
				 	{from: 2, to: 2, word: "NOT"}, 
				 	{from: 2, to: 3, word: "GOOD"},
				 	{from: 2, to: 3, word: "BAD"}]}
			

Pocketsphinx.js

JuliusJS

				var julius = new Julius();
				julius.onrecognition = function(sentence) {
					console.log(sentence);
				};
			

Грамматика

1. файл .voca - определение слов
2. файл .grammar - сочетание слов

.voca

.grammar

Применение

Пользователи как Javascript

Применение

Пользователи как Javascript - однопоточные

Где нужны руки?

1. За рулем
2. При готовке
3. За станком
4. В обучении
5. Для людей с ограниченными возможностями

19% пользователей имеют разную степень инвалидности

Сумма IE8+IE9 на 14 сентября 14 года равняется 1.4%

Статистика