Товч тайлбар
Шийдлийн зорилго нь ярианы хэл болон бичвэрийг дохио зангааны хэлд, дохио зангааны хэлийг бичвэр болон ярианы хэлд хөрвүүлэх зориулалттай Дохионы хэлний виртуал орчуулагч платформ гаргахад оршино. Ялангуяа сонсголын бэрхшээлтэй иргэдийн нийгмийн харилцаа, мэдээллийн хүртээмжийн асуудлыг шийдэхэд зориулсан Дохионы хэлний виртуал орчуулагч платформ гаргахад оршино.
Тус шийдлийн Дохионы хэлний виртуал орчуулагч платформ нь: сонсголын бэрхшээлтэй хүнд зориулсан эх хэлнээс дохионы хэл рүү, дохионы хэлээр ярьж буй хүнийг яриаг эх хэл рүү хөрвүүлэх зориулалттай платформ болно. Тус платформ нь Төв сервер эсвэл Хэрэглэгчийн төхөөрөмж дээр ажиллах боломжтой бөгөөд, Ярианы хэлнээс Дохионы хэл рүү, Дохионы хэлнээс Ярианы хэл рүү хиймэл оюун ухаан ашиглан хөрвүүлэх чадвартай Виртуал хиймэл оюунт дохионы хэлмэрч хэрэгслээс бүрэлдэнэ. Уг Виртуал хиймэл оюунт дохионы хэлмэрч хэрэгсэл нь гаргаж байгаа Дохионы хэл нь нүүрний хувирал, биеийн хэлэмжээр тухайн хэлж байгаа үг өгүүлбэрийн утгыг төгөлдөржүүлж өгдөг Төгөлдөржүүлэх хэрэгсэлтэй болно.
ТОМЬЁОЛОЛ
1. Сонсголын бэрхшээлтэй хүнд зориулсан эх хэлнээс дохионы хэл рүү, дохионы хэлээр ярьж буй хүнийг яриаг эх хэл рүү хөрвүүлэх зориулалттай Дохионы хэлний виртуал орчуулагч платформын ялгаа нь төв сервер эсвэл хэрэглэгчийн төхөөрөмж дээр ажиллах боломжтой дохионы хэлний виртуал орчуулагч платформ нь ярианы хэлнээс дохионы хэл рүү, дохионы хэлнээс ярианы хэл рүү хиймэл оюун ухаан ашиглан хөрвүүлэх чадвартай виртуал хиймэл оюунт дохионы хэлмэрч хэрэгслээс бүрдэх ба уг виртуал хиймэл оюунт дохионы хэлмэрч хэрэгсэл нь гаргаж байгаа дохионы хэлний нүүрний хувирал, биеийн хэлэмжээр тухайн хэлж байгаа үг өгүүлбэрийн утгыг төгөлдөржүүлэх төгөлдөржүүлэх хэрэгсэлтэй байна.
2. Дохионы хэлний виртуал орчуулагч платформын томьёоллын 1 дүгээрийн ялгаа нь дохио зангааны мэдээллийг текст эсвэл аудио мессеж болгон хөрвүүлэх хиймэл оюун ухааны загвар нь хэрэглэгчийн хийж буй гар дохио болон нүүрний хувирлаас позе тооцоолол хийгч хэрэгсэл, олон тооны дохио зангаатай холбоотой мэдээллийг хадгалахаар тохируулсан хиймэл неурал сүлжээ болон анхаарлын механизмууд болох трансформатор давхаргуудын хэрэгсэл, болон реккурент холболттой текст эсвэл аудио руу хөрвүүлэгч неурал загварын хэрэгслээс бүрдэх ба текст эсвэл аудио мэдээллийг дохио зангааны бичлэг болгон хөрвүүлэх хиймэл оюун ухааны загвар нь рекуррент неурал нетворк, трансформер суурьт модель болон араг ясны хөдөлгөөнийг гурван хэмжээст дүрд шилжүүлэгч хэрэгслээс бүрдэнэ.
3. Дохионы хэлний виртуал орчуулагч платформын томьёоллын 1 эсвэл 2 дугаарын ялгаа нь дохионы хэлний виртуал орчуулагч платформ нь төв сервер, сүлжээ, болон төв сервертэй сүлжээгээр холбогдон мэдээлэл солилцох хэрэглэгчийн төхөөрөмжөөс бүрдэх ба сонсголын бэрхшээлтэй хүний зургийг хэрэглэгчийн төхөөрөмжийн камераар аван, боловсруулалт хийн дүрст мэдээллийг төв серверт дамжуулах, төв серверт хэрэглэгчийн төхөөрөмжөөс ирсэн дүрст мэдээллийг боловсруулалт хийн, текст мессеж эсвэл аудио мессеж болгон хувиргаж, хэрэглэгчийн төхөөрөмж рүү илгээх бөгөөд хэрэглэгчийн төхөөрөмж нь төв серверээс ирсэн текст мессежийг аудио мессеж болгон хувиргаж хэрэглэгчийн төхөөрөмжийн чанга яригчаар гаргах эсвэл төв серверээс ирсэн аудио мессежийг хэрэглэгчийн төхөөрөмжийн чанга яригчаар гаргах үйлдлүүдийг хийнэ.
4. Дохионы хэлний виртуал орчуулагч платформын томьёоллын 1 эсвэл 2 дугаарын ялгаа нь дохионы хэлний виртуал орчуулагч платформ нь төв сервер, сүлжээ, болон төв сервертэй сүлжээгээр холбогдон мэдээлэл солилцох хэрэглэгчийн төхөөрөмжөөс бүрдэх ба хэрэглэгчийн төхөөрөмжөөс оруулсан текст эсвэл аудио бичлэгийг боловсруулалт хийн төв серверт дамжуулах, төв серверт хэрэглэгчийн төхөөрөмжөөс ирсэн текст эсвэл аудио бичлэгийг боловсруулалт хийн, дохионы хэл рүү хувиргаж дохионы хэлний дүрст бичлэг болгон хэрэглэгчийн төхөөрөмж рүү илгээх бөгөөд хэрэглэгчийн төхөөрөмж нь төв серверээс ирсэн дохионы хэлний дүрст бичлэгийг хүлээн авч хэрэглэгчийн төхөөрөмжийн дэлгэц дээр гаргах үйлдлүүдийг хийнэ.