Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Ρ€Π΅Ρ‡Π΅Π²Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ Π·Π°Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ Π½ΡƒΠΆΠ½Ρ‹

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Ρ€Π΅Ρ‡Π΅Π²Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ Π·Π°Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ Π½ΡƒΠΆΠ½Ρ‹

Π Π΅Ρ‡Π΅Π²Ρ‹Π΅ систСмы ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π½Ρ‹Π΅ систСмы, способныС ΠΈΠ·ΡƒΡ‡Π°Ρ‚ΡŒ ΠΈ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ тСкст Π½Π° Ρ€Π°Π·Π³ΠΎΠ²ΠΎΡ€Π½ΠΎΠΌ языкС. Π­Ρ‚ΠΈ срСдства ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ Ρ†Π΅ΠΏΠΎΡ‡ΠΊΠΈ слов, ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ возникновСния ΠΈΠ΄ΡƒΡ‰Π΅Π³ΠΎ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Π° ΠΈ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΡŽΡ‚ осмыслСнныС сСгмСнты тСкста. ΠΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½Ρ‹Π΅ vavada casino Π±Π°Π·ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π½Π° расчётных ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Π°Ρ… ΠΈ Π½Π΅Ρ€Π²Π½Ρ‹Ρ… сСтях.

Главная функция Ρ‚Π°ΠΊΠΈΡ… ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΠΎΠ² выраТаСтся Π² осмыслСнии контСкста ΠΈ сСмантичСских связСй ΠΌΠ΅ΠΆΠ΄Ρƒ словами. МодСли учатся Π²Ρ‹ΡΠ²Π»ΡΡ‚ΡŒ ΡˆΠ°Π±Π»ΠΎΠ½Ρ‹ Π² ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹Ρ… количСствах тСкстовых Π΄Π°Π½Π½Ρ‹Ρ…. ПослС обучСния прилоТСния ΠΎΡΡƒΡ‰Π΅ΡΡ‚Π²Π»ΡΡŽΡ‚ Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹Π΅ дСйствия: ΠΎΡ‚ΠΊΠ»ΠΈΠΊΠ°ΡŽΡ‚ΡΡ Π½Π° вопросы, пСрСводят тСксты, ΡΠΎΠΊΡ€Π°Ρ‰Π°ΡŽΡ‚ Ρ„Π°ΠΉΠ»Ρ‹.

РСальноС использованиС Π·Π°Ρ…Π²Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·ΠΈΠ΅ отраслСй. ΠŸΡ€Π΅Π΄ΠΏΡ€ΠΈΡΡ‚ΠΈΡ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ для ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΈ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ Ρ‡Π΅Ρ€Π΅Π· Ρ‡Π°Ρ‚-Π±ΠΎΡ‚ΠΎΠ². Π Π΅Π΄Π°ΠΊΡ†ΠΈΠΈ ΡΠΊΡΠΏΠ»ΡƒΠ°Ρ‚ΠΈΡ€ΡƒΡŽΡ‚ инструмСнты для ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠΈ Ρ‡Π΅Ρ€Π½ΠΎΠ²ΠΈΠΊΠΎΠ². ΠŸΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠΈΡΡ‚Ρ‹ Π²ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ систСмы Π² поисковики для ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Π²Ρ‹Π΄Π°Ρ‡ΠΈ. ΠžΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠ΅ систСмы Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΡŽΡ‚ кастомизированныС ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Π’Π°Π²Π°Π΄Π°.

ВСхнология Π½Π°Ρ…ΠΎΠ΄ΠΈΡ‚ использованиС Π² Π²Ρ€Π°Ρ‡Π΅Π±Π½ΠΎΠΉ ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅, ΠΏΡ€Π°Π²Π΅, акадСмичСских Ρ€Π°Π±ΠΎΡ‚Π°Ρ… ΠΈ творчСских индустриях.

ОписаниС LLM (Large Language Model): Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ Ρ€Π°Π·Π»ΠΈΡ‡Π°ΡŽΡ‚ΡΡ ΠΎΡ‚ Ρ‚Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Ρ… Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ²

LLM трактуСтся ΠΊΠ°ΠΊ Large Language Model — крупная лингвистичСская систСма. ΠžΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ Π½Π° Ρ€Π°Π·ΠΌΠ΅Ρ€ структуры, измСряСмый ΠΎΠ±ΡŠΡ‘ΠΌΠΎΠΌ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»Π΅ΠΉ. ΠŸΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой измСняСмыС ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰ΠΈΠ΅ Π½Π΅Ρ€Π²Π½ΠΎΠΉ сСти, Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΡŽΡ‰ΠΈΠ΅ дСйствиС ΠΏΡ€ΠΈ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ тСкста.

ΠšΠ»Π°ΡΡΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ содСрТат ΠΌΠΈΠ»Π»ΠΈΠΎΠ½Ρ‹ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΈ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π½Π° Π»ΠΈΠΌΠΈΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ…. Π’Π°ΠΊΠΈΠ΅ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΡΠΏΡ€Π°Π²Π»ΡΡŽΡ‚ΡΡ с частными Π·Π°Π΄Π°Ρ‡Π°ΠΌΠΈ: сортировкой тСкстов, ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅ΠΌ сущностСй, ΠΎΡ†Π΅Π½ΠΊΠΎΠΉ настроСния. ΠŸΠΎΡ‚Π΅Π½Ρ†ΠΈΠ°Π» классичСских систСм Π·Π°ΠΌΠΊΠ½ΡƒΡ‚Ρ‹ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠΉ ΠΎΠ±Π»Π°ΡΡ‚ΡŒΡŽ.

ΠžΠ±ΡŠΡ‘ΠΌΠ½Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ содСрТат ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Ρ‹ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΈ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‚ΡΡ Π½Π° ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹Ρ… тСкстовых Π½Π°Π±ΠΎΡ€Π°Ρ…. GPT-3 содСрТит 175 ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄ΠΎΠ² ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ², Ρ‡Ρ‚ΠΎ позволяСт ΡΠΏΡ€Π°Π²Π»ΡΡ‚ΡŒΡΡ Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹ΠΉ ряд ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ Π±Π΅Π· Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ ΠΊΠ°Π»ΠΈΠ±Ρ€ΠΎΠ²ΠΊΠΈ. LLM ΠΏΡ€ΠΎΡΠ²Π»ΡΡŽΡ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΊ синтСзу свСдСний ΠΌΠ΅ΠΆΠ΄Ρƒ Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ Π’Π°Π²Π°Π΄Π° ΠΊΠ°Π·ΠΈΠ½ΠΎ.

ΠšΠ»ΡŽΡ‡Π΅Π²ΠΎΠ΅ расхоТдСниС состоит Π² ΡƒΠ½ΠΈΠ²Π΅Ρ€ΡΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ. Π’Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‚ ΠΏΠΎΠ²Ρ‚ΠΎΡ€Π½ΠΎΠΉ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ для ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠΉ Π·Π°Π΄Π°Ρ‡ΠΈ. ΠœΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Π΅ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ Ρ‡Π΅Ρ€Π΅Π· запросы — словСсныС Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹. ΠœΠ°ΡΡˆΡ‚Π°Π± Π³Π°Ρ€Π°Π½Ρ‚ΠΈΡ€ΡƒΠ΅Ρ‚ Π·Π°ΠΌΠ΅Ρ‚Π½Ρ‹ΠΉ скачок Π² осмыслСнии контСкста ΠΈ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠΈ.

Из Ρ‡Π΅Π³ΠΎ складываСтся LLM: Ρ‚ΠΎΠΊΠ΅Π½Ρ‹, Π½Π°Π±ΠΎΡ€ ΠΈ характСристики ΠΌΠΎΠ΄Π΅Π»ΠΈ

Π­Π»Π΅ΠΌΠ΅Π½Ρ‚Ρ‹ ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ основными частицами Π°Π½Π°Π»ΠΈΠ·Π° тСкста Π² Ρ€Π΅Ρ‡Π΅Π²Ρ‹Ρ… систСмах. Алгоритм Π΄Π΅Π»ΠΈΡ‚ ΠΏΠΎΡΡ‚ΡƒΠΏΠ°ΡŽΡ‰ΠΈΠΉ тСкст Π½Π° сСгмСнты — ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ слова, Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Ρ‹ слов ΠΈΠ»ΠΈ Π»ΠΈΡ‚Π΅Ρ€Ρ‹. Один Ρ‚ΠΎΠΊΠ΅Π½ ΠΌΠΎΠΆΠ΅Ρ‚ ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠΎΠ»Π½ΠΎΠΌΡƒ слову, ΠΌΠΎΡ€Ρ„Π΅ΠΌΠ΅ ΠΈΠ»ΠΈ Π·Π½Π°ΠΊΡƒ прСпинания. ΠŸΡ€ΠΎΡ†Π΅ΡΡ сСгмСнтации имСнуСтся Ρ‚ΠΎΠΊΠ΅Π½ΠΈΠ·Π°Ρ†ΠΈΠ΅ΠΉ.

Π‘Π»ΠΎΠ²Π°Ρ€ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ всС доступныС элСмСнты, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ систСма ΡƒΠΌΠ΅Π΅Ρ‚ Π²Ρ‹ΡΠ²Π»ΡΡ‚ΡŒ ΠΈ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ. Π Π°Π·ΠΌΠ΅Ρ€ пСрСчня Π²Π°Ρ€ΡŒΠΈΡ€ΡƒΠ΅Ρ‚ΡΡ ΠΎΡ‚ дСсятков Π΄ΠΎ сотСн тысяч ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰ΠΈΡ…. ΠšΠ°ΠΆΠ΄ΠΎΠΌΡƒ Ρ‚ΠΎΠΊΠ΅Π½Ρƒ выдСляСтся особый numeric ΠΊΠΎΠ΄. Алгоритм ΠΎΠΏΠ΅Ρ€ΠΈΡ€ΡƒΠ΅Ρ‚ с числовыми Ρ„ΠΎΡ€ΠΌΠ°ΠΌΠΈ, Π° Π½Π΅ с исходным тСкстом. Π£Ρ€ΠΎΠ²Π΅Π½ΡŒ лСксикона отраТаСтся Π½Π° Π°Π½Π°Π»ΠΈΠ· нСчастых слов ΠΈ ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΠΉ Vavada.

Π₯арактСристики ΡΠ²Π»ΡΡŽΡ‚ΡΡ собой числовыС значСния взаимосвязСй ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Π°ΠΌΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти. Π­Ρ‚ΠΈ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‚, ΠΊΠ°ΠΊ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ трансформируСт Π²Ρ…ΠΎΠ΄Π½Ρ‹Π΅ свСдСния Π² Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹. Π’ Ρ‚Π΅Ρ‡Π΅Π½ΠΈΠΈ настройки ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ Ρ€Π΅Π³ΡƒΠ»ΠΈΡ€ΡƒΡŽΡ‚ΡΡ для сниТСния ΠΏΠΎΠ³Ρ€Π΅ΡˆΠ½ΠΎΡΡ‚Π΅ΠΉ. ΠΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½Ρ‹Π΅ LLM содСрТат дСсятки ΠΈΠ»ΠΈ сотни ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄ΠΎΠ² ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»Π΅ΠΉ, распрСдСлённых ΠΏΠΎ массС пластов. ΠšΠΎΠ»ΠΈΡ‡Π΅ΡΡ‚Π²ΠΎ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ассоциируСтся с расчётными запросами ΠΈ качСством функционирования Π’Π°Π²Π°Π΄Π° ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Как Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ LLM: массивы ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ, ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΏΠΎΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π³ΠΎ слова ΠΈ Ρ€Π°Π·ΠΌΠ΅Ρ€Ρ‹ расчётов

ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΊΡ€ΡƒΠΏΠ½Ρ‹Ρ… лингвистичСских Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² открываСтся со накоплСния датасСтов — ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹Ρ… Π°Ρ€Ρ…ΠΈΠ²ΠΎΠ² тСкстов. Наборы Π΄Π°Π½Π½Ρ‹Ρ… Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ ΠΊΠ½ΠΈΠ³ΠΈ, ΠΎΡ‡Π΅Ρ€ΠΊΠΈ, Π²Π΅Π±-страницы, акадСмичСскиС издания. ΠžΠ±ΡŠΡ‘ΠΌ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ² для настройки оцСниваСтся Ρ‚Π΅Ρ€Π°Π±Π°ΠΉΡ‚Π°ΠΌΠΈ. Π’Π°Ρ€ΠΈΠ°Ρ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒ Π΄Π°Π½Π½Ρ‹Ρ… позволяСт ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΠΎΠ·Π½Π°Π²Π°Ρ‚ΡŒ Ρ€Π°Π·Π½Ρ‹Π΅ Ρ„ΠΎΡ€ΠΌΡ‹ тСкста.

Π“Π»Π°Π²Π½Ρ‹ΠΉ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏ обучСния основываСтся Π½Π° ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠΈ ΠΏΠΎΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π³ΠΎ Ρ‚ΠΎΠΊΠ΅Π½Π°. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Π΅Ρ‚ Ρ†Π΅ΠΏΠΎΡ‡ΠΊΡƒ слов ΠΈ стрСмится ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚ΡŒ, ΠΊΠ°ΠΊΠΎΠ΅ слово Π²ΠΎΠ·Π½ΠΈΠΊΠ½Π΅Ρ‚ дальшС. БистСма провСряСт ΠΏΡ€ΠΎΠ³Π½ΠΎΠ· с Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹ΠΌ слСдованиСм ΠΈ настраиваСт ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ для сниТСния ΠΏΠΎΠ³Ρ€Π΅ΡˆΠ½ΠΎΡΡ‚ΠΈ. ΠŸΡ€ΠΎΡ†Π΅ΡΡ дублируСтся ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Ρ‹ Ρ€Π°Π· Π½Π° Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹Ρ… ΠΎΡ‚Ρ€Ρ‹Π²ΠΊΠ°Ρ… Π’Π°Π²Π°Π΄Π°.

ΠœΠ°ΡΡˆΡ‚Π°Π±Ρ‹ расчётов для Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ LLM ΡƒΠ΄ΠΈΠ²Π»ΡΡŽΡ‚:

  • ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ Ρ‚Ρ€Π΅Π±ΡƒΠ΅Ρ‚ тысяч ΠΏΡ€ΠΎΡ„ΠΈΠ»ΡŒΠ½Ρ‹Ρ… GPU процСссоров
  • ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ ΠΏΠΎΠ³Π»ΠΎΡ‰Π°Π΅Ρ‚ Π½Π΅Π΄Π΅Π»ΠΈ ΠΈΠ»ΠΈ мСсяцы Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠΉ функционирования
  • Π­Π½Π΅Ρ€Π³ΠΎΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΠ΅ Ρ€Π°Π²Π½ΠΎ Π΅ΠΆΠ΅Π³ΠΎΠ΄Π½ΠΎΠΌΡƒ ΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΡŽ ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠ³ΠΎ посСлСния
  • Π‘Ρ‚ΠΎΠΈΠΌΠΎΡΡ‚ΡŒ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ равняСтся дСсятков ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ΠΎΠ² Π΄ΠΎΠ»Π»Π°Ρ€ΠΎΠ²

Компании Π½Π°ΠΏΡ€Π°Π²Π»ΡΡŽΡ‚ сущСствСнныС мощности Π² Ρ€Π°Π·Π²ΠΈΡ‚ΠΈΠ΅ ΠΊΠΎΠΌΠΏΡŒΡŽΡ‚Π΅Ρ€Π½ΠΎΠΉ структуры.

Устройство трансформСров

ВрансформСры ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρƒ Π½Π΅Ρ€Π²Π½Ρ‹Ρ… структур, ΠΎΠΊΠ°Π·Π°Π²ΡˆΡƒΡŽΡΡ основой соврСмСнных ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… лингвистичСских Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ². ИдСя Π±Ρ‹Π»Π° прСдставлСна Π² 2017 Π³ΠΎΠ΄Ρƒ Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠ°ΠΌΠΈ Google. Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π° смСнила рСкурсивныС сСти ΠΈ создала Π·Π°ΠΌΠ΅Ρ‚Π½Ρ‹ΠΉ ΠΏΠ΅Ρ€Π΅Π²ΠΎΡ€ΠΎΡ‚ Π² Π°Π½Π°Π»ΠΈΠ·Π΅ Π’Π°Π²Π°Π΄Π° ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Основной ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰Π°Ρ трансформСров — систСма внимания. Π­Ρ‚ΠΎΡ‚ устройство Π΄Π°Ρ‘Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΎΡ†Π΅Π½ΠΈΠ²Π°Ρ‚ΡŒ Π²Π°ΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ слова Π² контСкстС всСй Ρ†Π΅ΠΏΠΎΡ‡ΠΊΠΈ. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ зависимости ΠΌΠ΅ΠΆΠ΄Ρƒ всСми Π΅Π΄ΠΈΠ½ΠΈΡ†Π°ΠΌΠΈ ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΠΎ, Π° Π½Π΅ ΠΏΠΎ порядку. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ опрСдСляСт ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ значСния для ΠΊΠ°ΠΆΠ΄ΠΎΠΉ ΠΊΠΎΠΌΠ±ΠΈΠ½Π°Ρ†ΠΈΠΈ слов.

ВрансформСр складываСтся ΠΈΠ· обилия слоёв, ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ ΠΈΠ· ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ элСмСнты ΠΊΠΎΠ½Ρ†Π΅Π½Ρ‚Ρ€Π°Ρ†ΠΈΠΈ ΠΈ Π½Π΅Ρ€Π²Π½Ρ‹Π΅ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹. Π”Π°Π½Π½Ρ‹Π΅ транслируСтся Ρ‡Π΅Ρ€Π΅Π· ΡƒΡ€ΠΎΠ²Π½ΠΈ ΠΏΠΎΠΎΡ‡Π΅Ρ€Ρ‘Π΄Π½ΠΎ, ΠΎΠ±ΠΎΠ³Π°Ρ‰Π°ΡΡΡŒ Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΌ шагС. ΠŸΠΎΡΡ‚Ρ€ΠΎΠ΅Π½ΠΈΠ΅ ΠΎΡ…Π²Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ устройства Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ для надёТности Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ.

Достоинство трансформСров выраТаСтся Π² синхронизации подсчётов. МодСль ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ всС Ρ‚ΠΎΠΊΠ΅Π½Ρ‹ ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΠΎ, Ρ‡Ρ‚ΠΎ форсируСт настройку ΠΏΠΎ ΡΠΎΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΡŽ с Ρ€Π΅ΠΊΡƒΡ€Ρ€Π΅Π½Ρ‚Π½Ρ‹ΠΌΠΈ структурами. ΠœΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΡƒΠ΅ΠΌΠΎΡΡ‚ΡŒ структуры Π΄Π°Ρ‘Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ с ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Π°ΠΌΠΈ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»Π΅ΠΉ для Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ Ρ‚Ρ€ΡƒΠ΄Π½Ρ‹Ρ… Π·Π°Π΄Π°Ρ‡ Π°Π½Π°Π»ΠΈΠ·Π° Vavada.

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ лингвистичСскиС Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹

Π―Π·Ρ‹ΠΊΠΎΠ²Ρ‹Π΅ способы ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой ΡΠΎΠ²ΠΎΠΊΡƒΠΏΠ½ΠΎΡΡ‚ΡŒ Π·Π°ΠΊΠΎΠ½ΠΎΠ² ΠΈ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΉ для ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ письмСнной ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. Π­Ρ‚ΠΈ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡŽΡ‚ всСвозмоТныС ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ: Ρ‚ΠΎΠΊΠ΅Π½ΠΈΠ·Π°Ρ†ΠΈΡŽ, Π»Π΅ΠΌΠΌΠ°Ρ‚ΠΈΠ·Π°Ρ†ΠΈΡŽ, синтаксичСский ΠΈΠ·ΡƒΡ‡Π΅Π½ΠΈΠ΅, Π²Ρ‹Π΄Π΅Π»Π΅Π½ΠΈΠ΅ сущностСй. ΠŸΠΎΠ΄Ρ…ΠΎΠ΄Ρ‹ Π²Π°Ρ€ΡŒΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΎΡ‚ элСмСнтарных ΠΏΡ€Π°Π²ΠΈΠ» Π΄ΠΎ слоТных матСматичСских Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ².

Π’Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ основаны Π½Π° языковых ΠΏΡ€Π°Π²ΠΈΠ»Π°Ρ… ΠΈ справочниках. РСгулярныС выраТСния Π΄Π°ΡŽΡ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡ‚ΡŒ ΠΎΠ±Ρ€Π°Π·Ρ†Ρ‹ Π² тСкстС. Бпособы стСмминга ΠΎΠ±Ρ€Π΅Π·Π°ΡŽΡ‚ окончания слов для извлСчСния стСрТня. БинтаксичСскиС ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚Π°Ρ‚ΠΎΡ€Ρ‹ строят Π³Ρ€Π°Ρ„Ρ‹ связСй ΠΌΠ΅ΠΆΠ΄Ρƒ словами. Π’Π°ΠΊΠΈΠ΅ способы Π½ΡƒΠΆΠ΄Π°ΡŽΡ‚ΡΡ ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠΉ ΠΊΠ°Π»ΠΈΠ±Ρ€ΠΎΠ²ΠΊΠΈ для ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ языка.

Π‘ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ языковыС ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Ρ‹ ΡΠΊΡΠΏΠ»ΡƒΠ°Ρ‚ΠΈΡ€ΡƒΡŽΡ‚ автоматичСскоС Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΡƒ ΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Π΅ структуры. БтатистичСскиС ΠΌΠΎΠ΄Π΅Π»ΠΈ Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ Π½Π° ΠΌΠ°Ρ€ΠΊΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ Π±Π΅Π· участия Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ° ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ²Π°ΡŽΡ‚ закономСрности. ΠœΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ выраТСния слов Π·Π°ΠΏΠΈΡΡ‹Π²Π°ΡŽΡ‚ Π·Π½Π°Ρ‡ΠΈΠΌΠΎΠ΅ Π±Π»ΠΈΠ·ΠΎΡΡ‚ΡŒ ΠΌΠ΅ΠΆΠ΄Ρƒ Π’Π°Π²Π°Π΄Π°. ΠŸΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Ρ‹ ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠ·Π°Ρ†ΠΈΠΈ ΡƒΡΡ‚Π°Π½Π°Π²Π»ΠΈΠ²Π°ΡŽΡ‚ содСрТаниС тСкста ΠΈΠ»ΠΈ настроСниС.

Π―Π·Ρ‹ΠΊΠΎΠ²Ρ‹Π΅ способы ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ основу для Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ². LLM ΠΎΠ±ΡŠΠ΅Π΄ΠΈΠ½ΡΡŽΡ‚ ΡΠΎΠ²ΠΎΠΊΡƒΠΏΠ½ΠΎΡΡ‚ΡŒ способов Π² ΠΎΠ±Ρ‰ΡƒΡŽ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ. ВрансформСры ΡΠΈΠ½Ρ‚Π΅Π·ΠΈΡ€ΡƒΡŽΡ‚ достоинства Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… стратСгий ΠΊ ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅.

Бпособности LLM

ΠšΡ€ΡƒΠΏΠ½Ρ‹Π΅ Ρ€Π΅Ρ‡Π΅Π²Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‚ ΠΎΠ±ΡˆΠΈΡ€Π½Ρ‹ΠΉ ряд возмоТностСй Π² взаимодСйствии с тСкстом. МодСли ΠΏΠΎΠ΄ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ ΠΊ всСвозмоТным опСрациям Π±Π΅Π· Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ дообучСния. ΠœΠ½ΠΎΠ³ΠΎΡ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ создаёт LLM ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ срСдством для ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½ΠΎΠΉ манипулирования с Vavada.

Π“Π»Π°Π²Π½Ρ‹Π΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ соврСмСнных языковых систСм Π²ΠΌΠ΅Ρ‰Π°ΡŽΡ‚:

  • Π€ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ тСкстов всСвозмоТных Ρ‚ΠΈΠΏΠΎΠ² ΠΈ ΠΌΠ°Π½Π΅Ρ€ — ΡΡ‚Π°Ρ‚ΡŒΠΈ, истории, дСловая коммуникация
  • ΠŸΠ΅Ρ€Π΅Π²ΠΎΠ΄ ΠΌΠ΅ΠΆΠ΄Ρƒ языками с соблюдСниСм значСния ΠΈ контСкста
  • Π Π΅Π·ΡŽΠΌΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ пространных ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ² с ΠΈΠ·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΠ΅ΠΌ Π³Π»Π°Π²Π½Ρ‹Ρ… ΠΈΠ΄Π΅ΠΉ
  • ΠžΡ‚Π²Π΅Ρ‚Ρ‹ Π½Π° запросы Π½Π° Ρ„ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Π΅ Π΄Π°Π½Π½ΠΎΠΉ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΈΠ»ΠΈ Ρ„ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½Ρ‹Ρ… свСдСний
  • Анализ настроСния ΠΈ Π°Ρ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΠΎΠΉ насыщСнности тСкстов
  • ΠšΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠ·Π°Ρ†ΠΈΡ Ρ„Π°ΠΉΠ»ΠΎΠ² ΠΏΠΎ Π³Ρ€ΡƒΠΏΠΏΠ°ΠΌ ΠΈ направлСниям
  • ΠŸΠΎΠ»ΡƒΡ‡Π΅Π½ΠΈΠ΅ систСматизированной свСдСний ΠΈΠ· Π½Π΅ΠΎΡ€Π³Π°Π½ΠΈΠ·ΠΎΠ²Π°Π½Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ…

LLM ΡƒΠΌΠ΅ΡŽΡ‚ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ арифмСтичСскиС ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ, ΠΏΠΈΡΠ°Ρ‚ΡŒ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½Ρ‹ΠΉ ΠΊΠΎΠ΄ ΠΈ ΠΎΠ±ΡŠΡΡΠ½ΡΡ‚ΡŒ слоТныС полоТСния доступным ΠΈΠ·Π»ΠΎΠΆΠ΅Π½ΠΈΠ΅ΠΌ. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Π΄Π΅ΠΌΠΎΠ½ΡΡ‚Ρ€ΠΈΡ€ΡƒΡŽΡ‚ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Ρ‹ Π°Π½Π°Π»ΠΈΠ·Π° ΠΈ логичСского Π²Ρ‹Π²ΠΎΠ΄Π°. МодСли ΠΏΠΎΠ΄ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ ΠΊ ΠΌΠ°Π½Π΅Ρ€Π΅ ΠΊΠΎΠΌΠΌΡƒΠ½ΠΈΠΊΠ°Ρ†ΠΈΠΈ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ ΠΈ Ρ€Π°ΡΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°ΡŽΡ‚ контСкст ΠΏΡ€Π΅Π΄ΡˆΠ΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΡ… высказываний Π² Ρ€Π°Π·Π³ΠΎΠ²ΠΎΡ€Π΅.

НСдостатки LLM

ΠœΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Π΅ Ρ€Π΅Ρ‡Π΅Π²Ρ‹Π΅ систСмы содСрТат ΡΠ΅Ρ€ΡŒΡ‘Π·Π½Ρ‹Π΅ Ρ€Π°ΠΌΠΊΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ сущСствСнно Ρ€Π°ΡΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°Ρ‚ΡŒ ΠΏΡ€ΠΈ фактичСском ΡƒΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΠΈ. МодСли Π½Π΅ Π²Π»Π°Π΄Π΅ΡŽΡ‚ истинным постиТСниСм Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ статистичСскими ΠΏΠ°Ρ‚Ρ‚Π΅Ρ€Π½Π°ΠΌΠΈ Π² словСсных ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π°Ρ…. Алгоритмы ΠΊΠΎΠΏΠΈΡ€ΡƒΡŽΡ‚ закономСрности Π±Π΅Π· постиТСния значСния Π’Π°Π²Π°Π΄Π° ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Π€Π°Π½Ρ‚Π°Π·ΠΈΠΈ Π²Ρ‹ΡΡ‚ΡƒΠΏΠ°ΡŽΡ‚ ΡΡƒΡ‰Π΅ΡΡ‚Π²Π΅Π½Π½ΡƒΡŽ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡƒ для LLM. БистСмы ΠΌΠΎΠ³ΡƒΡ‚ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΡ€Π°Π²Π΄ΠΎΠΏΠΎΠ΄ΠΎΠ±Π½ΠΎ Π·Π²ΡƒΡ‡Π°Ρ‰ΡƒΡŽ, Π½ΠΎ ΠΏΠΎ сути Π»ΠΎΠΆΠ½ΡƒΡŽ свСдСния. Алгоритмы Ρ€Π΅ΡˆΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΡΠΎΠΎΠ±Ρ‰Π°ΡŽΡ‚ Π²Ρ‹Π΄ΡƒΠΌΠ°Π½Π½Ρ‹Π΅ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ, ΠΌΠ½ΠΈΠΌΡ‹Π΅ источники ΠΈΠ»ΠΈ ΠΎΡˆΠΈΠ±ΠΎΡ‡Π½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅. ВСрификация коррСктности ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½Π½ΠΎΠ³ΠΎ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π° сохраняСтся Π½Π΅ΠΈΠ·Π±Π΅ΠΆΠ½ΠΎΠΉ.

БмысловоС ΠΎΠΊΠ½ΠΎ ΡƒΡ€Π΅Π·Π°Π΅Ρ‚ количСство ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ модСль Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ Π·Π° ΠΎΠ΄ΠΈΠ½ Ρ†ΠΈΠΊΠ». ΠŸΡ€Π΅ΠΎΠ±Π»Π°Π΄Π°ΡŽΡ‰Π΅Π΅ число LLM Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ с нСсколькими тысячами Π΅Π΄ΠΈΠ½ΠΈΡ†Π°ΠΌΠΈ. ΠžΠ±ΡŠΡ‘ΠΌΠ½Ρ‹Π΅ тСксты Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‚ дСлСния Π½Π° сСгмСнты, Ρ‡Ρ‚ΠΎ Π²Π»Π΅Ρ‡Ρ‘Ρ‚ ΠΊ ΠΈΡΡ‡Π΅Π·Π½ΠΎΠ²Π΅Π½ΠΈΡŽ согласованности ΠΌΠ΅ΠΆΠ΄Ρƒ элСмСнтами Vavada.

БистСмы Π΄Π΅ΠΌΠΎΠ½ΡΡ‚Ρ€ΠΈΡ€ΡƒΡŽΡ‚ пСрСкосы, содСрТащиСся Π² ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π°Ρ…. БистСмы ΠΌΠΎΠ³ΡƒΡ‚ Π²ΠΎΡΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ клишС ΠΈΠ»ΠΈ дискриминационныС суТдСния. Π Π΅Π»Π΅Π²Π°Π½Ρ‚Π½ΠΎΡΡ‚ΡŒ свСдСний Π»ΠΈΠΌΠΈΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π° ΠΌΠΎΠΌΠ΅Π½Ρ‚ΠΎΠΌ Π·Π°Π²Π΅Ρ€ΡˆΠ΅Π½ΠΈΡ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ. LLM Π½Π΅ ΠΈΠΌΠ΅ΡŽΡ‚ возмоТности ΠΊ Ρ„Π°ΠΊΡ‚Π°ΠΌ послС обучСния ΠΈ Π½Π΅ Π°ΠΊΡ‚ΡƒΠ°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ автоматичСски.

Π£ΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΠ΅ LLM ΠΈ лингвистичСских Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² Π² Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹Ρ… функциях

Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ лингвистичСскиС ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ Π°Π½Π°Π»ΠΈΠ·Π° тСкста ΠΏΠΎΠ»ΡƒΡ‡Π°ΡŽΡ‚ ΠΎΠ±ΡˆΠΈΡ€Π½ΠΎΠ΅ ΡƒΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΠ΅ Π² Π΄Π΅Π»ΠΎΠ²ΠΎΠΉ сфСрС ΠΈ Π±ΡƒΠ΄Π½ΠΈΡ‡Π½ΠΎΠΉ Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ. ΠŸΡ€Π΅Π΄ΠΏΡ€ΠΈΡΡ‚ΠΈΡ Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ для усилСния эффСктивности ΠΈ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ клиСнтского впСчатлСния.

Π’ области сСрвиса ΠΎΠ½Π»Π°ΠΉΠ½ Π°Π³Π΅Π½Ρ‚Ρ‹ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ трСбования ΠΏΠΎΡ‚Ρ€Π΅Π±ΠΈΡ‚Π΅Π»Π΅ΠΉ постоянно. Π§Π°Ρ‚-Π±ΠΎΡ‚Ρ‹ Ρ€Π΅Π°Π³ΠΈΡ€ΡƒΡŽΡ‚ Π½Π° распространённыС вопросы, Π°ΡΡΠΈΡΡ‚ΠΈΡ€ΡƒΡŽΡ‚ с рСгистрациСй ΠΏΠΎΠΊΡƒΠΏΠΎΠΊ ΠΈ Ρ€Π΅ΡˆΠ°ΡŽΡ‚ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΎΠ½Π½Ρ‹ΠΌΠΈ трудности. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ трСбования для распознавания распространённых слоТностСй с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Π’Π°Π²Π°Π΄Π°.

ΠšΠΎΠ½Ρ‚Π΅Π½Ρ‚Π½Ρ‹ΠΉ ΠΌΠ°Ρ€ΠΊΠ΅Ρ‚ΠΈΠ½Π³ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ LLM для создания тСкстов Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹Ρ… Ρ„ΠΎΡ€ΠΌΠ°Ρ‚ΠΎΠ². БистСмы производят описания Ρ‚ΠΎΠ²Π°Ρ€ΠΎΠ², ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ для Π±Π»ΠΎΠ³ΠΎΠ², посты Π² ΠΊΠΎΠΌΠΌΡƒΠ½ΠΈΠΊΠ°Ρ†ΠΈΠΎΠ½Π½Ρ‹Ρ… сСтях. БистСмы Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΡƒΡŽΡ‚ Ρ‚ΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ ΠΏΠΎΠ΄ Ρ‚Ρ€Π΅Π±ΡƒΠ΅ΠΌΡƒΡŽ ΠΏΡƒΠ±Π»ΠΈΠΊΡƒ. ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ Π΄Π°Ρ‘Ρ‚ ΠΏΠ΅Ρ€ΠΈΠΎΠ΄ сотрудников для ΠΊΡ€Π΅Π°Ρ‚ΠΈΠ²Π½ΠΎΠΉ Ρ€Π°Π±ΠΎΡ‚Ρ‹.

ΠžΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠ΅ систСмы ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ Ρ€Π΅Ρ‡Π΅Π²Ρ‹Π΅ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ для Π°Π΄Π°ΠΏΡ‚Π°Ρ†ΠΈΠΈ образования. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΡΠΎΠ·Π΄Π°ΡŽΡ‚ кастомизированныС содСрТаниС, ΠΎΡ†Π΅Π½ΠΈΠ²Π°ΡŽΡ‚ тСкстовыС ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Ρ‹ ΠΈ ΠΏΡ€Π΅Π΄ΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ ΠΎΠ±Ρ€Π°Ρ‚Π½ΡƒΡŽ Ρ€Π΅Π°ΠΊΡ†ΠΈΡŽ. Алгоритмы ΡΠΎΠ΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ Π² ΠΏΠΎΠ·Π½Π°Π½ΠΈΠΈ Π·Π°Ρ€ΡƒΠ±Π΅ΠΆΠ½Ρ‹Ρ… языков Ρ‡Π΅Ρ€Π΅Π· ΠΈΠ½Ρ‚Π΅Ρ€Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹Π΅ общСния.

ΠšΠ»ΠΈΠ½ΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ ΠΎΡ€Π³Π°Π½ΠΈΠ·Π°Ρ†ΠΈΠΈ Π·Π°Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ способы для Π°Π½Π°Π»ΠΈΠ·Π° записСй ΠΈ получСния ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΈΠ· досьС Π±ΠΎΠ»Π΅Π·Π½ΠΈ.

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ лингвистичСскиС Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ ΠΈ Π·Π°Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ Π½ΡƒΠΆΠ½Ρ‹

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ лингвистичСскиС Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ ΠΈ Π·Π°Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ Π½ΡƒΠΆΠ½Ρ‹

Π Π΅Ρ‡Π΅Π²Ρ‹Π΅ систСмы ΡΠ²Π»ΡΡŽΡ‚ΡΡ собой софтвСрныС ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹, ΠΌΠΎΠ³ΡƒΡ‰ΠΈΠ΅ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ тСкст Π½Π° чСловСчСском языкС. Π­Ρ‚ΠΈ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ сСрии слов, ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‚ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ возникновСния ΠΎΡ‡Π΅Ρ€Π΅Π΄Π½ΠΎΠ³ΠΎ элСмСнта ΠΈ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΡŽΡ‚ Π»ΠΎΠ³ΠΈΡ‡Π½Ρ‹Π΅ ΠΎΡ‚Ρ€Ρ‹Π²ΠΊΠΈ тСкста. ΠŸΠ΅Ρ€Π΅Π΄ΠΎΠ²Ρ‹Π΅ ΠΈΠ³Ρ€ΠΎΠ²Ρ‹Π΅ Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚Ρ‹ Π±Π°Π·ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π½Π° Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Π°Ρ… ΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтях.

Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½Π°Ρ миссия Ρ‚Π°ΠΊΠΈΡ… систСм содСрТится Π² ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠΈ контСкста ΠΈ смысловых ΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΠΉ ΠΌΠ΅ΠΆΠ΄Ρƒ словами. БистСмы учатся ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ²Π°Ρ‚ΡŒ закономСрности Π² Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… массивах тСкстовых Π΄Π°Π½Π½Ρ‹Ρ…. ПослС Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ систСмы Ρ€Π΅ΡˆΠ°ΡŽΡ‚ Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹Π΅ дСйствия: Ρ€Π΅Π°Π³ΠΈΡ€ΡƒΡŽΡ‚ Π½Π° вопросы, Ρ‚Ρ€Π°Π½ΡΠ»ΠΈΡ€ΡƒΡŽΡ‚ тСксты, ΠΎΠ±ΠΎΠ±Ρ‰Π°ΡŽΡ‚ Π±ΡƒΠΌΠ°Π³ΠΈ.

ΠŸΡ€ΠΈΠΊΠ»Π°Π΄Π½ΠΎΠ΅ ΡƒΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΠ΅ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ мноТСство Π½Π°ΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠΉ. ΠŸΡ€Π΅Π΄ΠΏΡ€ΠΈΡΡ‚ΠΈΡ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ для Ρ€ΠΎΠ±ΠΎΡ‚ΠΈΠ·Π°Ρ†ΠΈΠΈ обслуТивания ΠΏΠΎΡ‚Ρ€Π΅Π±ΠΈΡ‚Π΅Π»Π΅ΠΉ Ρ‡Π΅Ρ€Π΅Π· Ρ‡Π°Ρ‚-Π±ΠΎΡ‚ΠΎΠ². Π Π΅Π΄Π°ΠΊΡ†ΠΈΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ для Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ эскизов. Π‘ΠΎΠ·Π΄Π°Ρ‚Π΅Π»ΠΈ Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π² поисковики для ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»Π΅ΠΉ. Π£Ρ‡Π΅Π±Π½Ρ‹Π΅ ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡ‹ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΡŽΡ‚ пСрсонализированныС ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΡ‹ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

ВСхнология Π½Π°Ρ…ΠΎΠ΄ΠΈΡ‚ использованиС Π² ΠΌΠ΅Π΄ΠΈΡ†ΠΈΠ½Π΅, ΠΏΡ€Π°Π²Π΅, акадСмичСских изысканиях ΠΈ худоТСствСнных индустриях.

ОписаниС LLM (Large Language Model): Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ разнятся ΠΎΡ‚ классичСских ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ

LLM трактуСтся ΠΊΠ°ΠΊ Large Language Model — ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Π°Ρ языковая систСма. ΠŸΠΎΠ½ΡΡ‚ΠΈΠ΅ ΠΎΠ±ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ Π½Π° ΠΎΠ±ΡŠΡ‘ΠΌ ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΎΡ†Π΅Π½ΠΈΠ²Π°Π΅ΠΌΡ‹ΠΉ количСством ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ². ΠŸΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ ΡΠ²Π»ΡΡŽΡ‚ΡΡ собой настраиваСмыС части Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти, ΡƒΡΡ‚Π°Π½Π°Π²Π»ΠΈΠ²Π°ΡŽΡ‰ΠΈΠ΅ ΠΏΠΎΠ²Π΅Π΄Π΅Π½ΠΈΠ΅ ΠΏΡ€ΠΈ Π°Π½Π°Π»ΠΈΠ·Π΅ тСкста.

ΠžΠ±Ρ‹Ρ‡Π½Ρ‹Π΅ систСмы ΠΈΠΌΠ΅ΡŽΡ‚ ΠΌΠΈΠ»Π»ΠΈΠΎΠ½Ρ‹ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΈ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π½Π° Π»ΠΈΠΌΠΈΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ…. Π’Π°ΠΊΠΈΠ΅ систСмы ΡΠΏΡ€Π°Π²Π»ΡΡŽΡ‚ΡΡ с спСцифичСскими ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ°ΠΌΠΈ: ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠ·Π°Ρ†ΠΈΠ΅ΠΉ тСкстов, ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅ΠΌ сущностСй, Π°Π½Π°Π»ΠΈΠ·ΠΎΠΌ окраски. ВозмоТности ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹Ρ… систСм суТСны спСцифичСской сфСрой.

Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΎΡ…Π²Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Ρ‹ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΈ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π½Π° ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹Ρ… тСкстовых коллСкциях. GPT-3 Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ 175 ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄ΠΎΠ² ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»Π΅ΠΉ, Ρ‡Ρ‚ΠΎ enables Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ ΠΎΠ±ΡˆΠΈΡ€Π½Ρ‹ΠΉ ряд ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ Π±Π΅Π· extra ΠΊΠ°Π»ΠΈΠ±Ρ€ΠΎΠ²ΠΊΠΈ. LLM ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ²Π°ΡŽΡ‚ ΡƒΠΌΠ΅Π½ΠΈΠ΅ ΠΊ ΠΎΠ±ΠΎΠ±Ρ‰Π΅Π½ΠΈΡŽ Π·Π½Π°Π½ΠΈΠΉ ΠΌΠ΅ΠΆΠ΄Ρƒ Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½ΠΎΠ΅ ΠΎΡ‚Π»ΠΈΡ‡ΠΈΠ΅ Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ Π² ΡƒΠ½ΠΈΠ²Π΅Ρ€ΡΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ. ΠšΠ»Π°ΡΡΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ demand дообучСния для ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠΉ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ. ΠšΡ€ΡƒΠΏΠ½Ρ‹Π΅ систСмы ΠΏΠΎΠ΄ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ Ρ‡Π΅Ρ€Π΅Π· ΠΏΡ€ΠΎΠΌΠΏΡ‚Ρ‹ — тСкстовыС ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹. ΠœΠ°ΡΡˆΡ‚Π°Π± Π³Π°Ρ€Π°Π½Ρ‚ΠΈΡ€ΡƒΠ΅Ρ‚ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ скачок Π² осмыслСнии контСкста ΠΈ Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ.

Из Ρ‡Π΅Π³ΠΎ построСно LLM: Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Ρ‹, Π½Π°Π±ΠΎΡ€ ΠΈ характСристики систСмы

Π€Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Ρ‹ ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ Π±Π°Π·ΠΎΠ²Ρ‹ΠΌΠΈ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Π°ΠΌΠΈ Π°Π½Π°Π»ΠΈΠ·Π° тСкста Π² лингвистичСских систСмах. БистСма Π΄Π΅Π»ΠΈΡ‚ Π²Ρ…ΠΎΠ΄Π½ΠΎΠΉ тСкст Π½Π° куски — ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ слова, элСмСнты слов ΠΈΠ»ΠΈ Π±ΡƒΠΊΠ²Ρ‹. Один Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚ ΠΌΠΎΠΆΠ΅Ρ‚ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡ‚ΡŒ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠΌΡƒ слову, ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰Π΅ΠΉ ΠΈΠ»ΠΈ символу прСпинания. ΠžΠΏΠ΅Ρ€Π°Ρ†ΠΈΡ дСлСния зовётся Ρ‚ΠΎΠΊΠ΅Π½ΠΈΠ·Π°Ρ†ΠΈΠ΅ΠΉ.

ΠŸΠ΅Ρ€Π΅Ρ‡Π΅Π½ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π²ΠΌΠ΅Ρ‰Π°Π΅Ρ‚ всС доступныС Ρ‚ΠΎΠΊΠ΅Π½Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ Π² состоянии Π²Ρ‹ΡΠ²Π»ΡΡ‚ΡŒ ΠΈ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ. Π Π°Π·ΠΌΠ΅Ρ€ лСксикона Π²Π°Ρ€ΡŒΠΈΡ€ΡƒΠ΅Ρ‚ΡΡ ΠΎΡ‚ дСсятков Π΄ΠΎ сотСн тысяч ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚ΠΎΠ². ΠšΠ°ΠΆΠ΄ΠΎΠΌΡƒ Ρ‚ΠΎΠΊΠ΅Π½Ρƒ даётся ΡƒΠ½ΠΈΠΊΠ°Π»ΡŒΠ½Ρ‹ΠΉ количСствСнный ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ‚ΠΎΡ€. БистСма Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½ΠΈΡ€ΡƒΠ΅Ρ‚ с numeric выраТСниями, Π° Π½Π΅ с ΠΎΡ€ΠΈΠ³ΠΈΠ½Π°Π»ΡŒΠ½Ρ‹ΠΌ тСкстом. ΠšΠ°Ρ‡Π΅ΡΡ‚Π²ΠΎ лСксикона влияСт Π½Π° ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΡƒ нСчастых слов ΠΈ ΠΏΡ€ΠΎΡ„Π΅ΡΡΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΠΉ ΠΈΠ³Ρ€ΠΎΠ²Ρ‹Π΅ Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚Ρ‹.

ΠŸΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой numeric вСса ΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΠΉ ΠΌΠ΅ΠΆΠ΄Ρƒ ΡƒΠ·Π»Π°ΠΌΠΈ искусствСнной Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρ‹. Π­Ρ‚ΠΈ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ ΡƒΡΡ‚Π°Π½Π°Π²Π»ΠΈΠ²Π°ΡŽΡ‚, ΠΊΠ°ΠΊ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ ΠΊΠΎΠ½Π²Π΅Ρ€Ρ‚ΠΈΡ€ΡƒΠ΅Ρ‚ Π²Ρ…ΠΎΠ΄Π½Ρ‹Π΅ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ Π² ΠΈΡ‚ΠΎΠ³ΠΈ. Π’ Ρ€Π°ΠΌΠΊΠ°Ρ… ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠΈ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ для сокращСния ошибок. ΠΡ‹Π½Π΅ΡˆΠ½ΠΈΠ΅ LLM Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ дСсятки ΠΈΠ»ΠΈ сотни ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄ΠΎΠ² ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ…, рассрСдоточСнных ΠΏΠΎ совокупности ярусов. Число ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»Π΅ΠΉ ассоциируСтся с процСссорными Π½ΡƒΠΆΠ΄Π°ΠΌΠΈ ΠΈ ΡƒΡ€ΠΎΠ²Π½Π΅ΠΌ Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Как Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ LLM: массивы ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ, прСдсказаниС ΠΎΡ‡Π΅Ρ€Π΅Π΄Π½ΠΎΠ³ΠΎ слова ΠΈ Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Ρ‹ подсчётов

ΠŸΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠ° ΠΎΠ±ΡŠΡ‘ΠΌΠ½Ρ‹Ρ… Ρ€Π΅Ρ‡Π΅Π²Ρ‹Ρ… Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² начинаСтся со накоплСния датасСтов — гигантских собраний тСкстов. Наборы Π΄Π°Π½Π½Ρ‹Ρ… Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ ΠΊΠ½ΠΈΠ³ΠΈ, ΡΡ‚Π°Ρ‚ΡŒΠΈ, Π²Π΅Π±-страницы, акадСмичСскиС Ρ€Π°Π±ΠΎΡ‚Ρ‹. Π Π°Π·ΠΌΠ΅Ρ€ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ для Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ опрСдСляСтся Ρ‚Π΅Ρ€Π°Π±Π°ΠΉΡ‚Π°ΠΌΠΈ. Π Π°Π·Π½ΠΎΡ€ΠΎΠ΄Π½ΠΎΡΡ‚ΡŒ тСкстов ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ‚ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡƒ ΠΎΡΠ²Π°ΠΈΠ²Π°Ρ‚ΡŒ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ стили излоТСния.

ΠšΠ»ΡŽΡ‡Π΅Π²ΠΎΠΉ ΠΌΠ΅Ρ‚ΠΎΠ΄ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ опираСтся Π½Π° ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠΈ ΠΏΠΎΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π³ΠΎ Π΅Π΄ΠΈΠ½ΠΈΡ†Ρ‹. МодСль ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Π΅Ρ‚ ряд слов ΠΈ пытаСтся ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚ΡŒ, ΠΊΠ°ΠΊΠΎΠ΅ слово ΠΏΡ€ΠΈΠ΄Ρ‘Ρ‚ ΠΏΠΎΡ‚ΠΎΠΌ. Алгоритм соотносит ΠΏΡ€ΠΎΠ³Π½ΠΎΠ· с фактичСским слСдованиСм ΠΈ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚ΠΈΡ€ΡƒΠ΅Ρ‚ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ для ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ отклонСния. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ возобновляСтся ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Ρ‹ Ρ€Π°Π· Π½Π° Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… сСгмСнтах ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

Π’Π΅Π»ΠΈΡ‡ΠΈΠ½Ρ‹ расчётов для настройки LLM ΠΈΠ·ΡƒΠΌΠ»ΡΡŽΡ‚:

  • ΠŸΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠ° нуТдаСтся тысяч спСциализированных GPU процСссоров
  • ΠŸΡ€ΠΎΡ†Π΅ΡΡ ΠΏΠΎΠ³Π»ΠΎΡ‰Π°Π΅Ρ‚ Π½Π΅Π΄Π΅Π»ΠΈ ΠΈΠ»ΠΈ мСсяцы Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠΉ функционирования
  • Π­Π½Π΅Ρ€Π³ΠΎΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΠ΅ Ρ€Π°Π²Π½ΠΎ Π·Π° Π³ΠΎΠ΄ Π·Π°Ρ‚Ρ€Π°Ρ‚Π°ΠΌ нСбольшого посСлСния
  • Π‘Ρ‚ΠΎΠΈΠΌΠΎΡΡ‚ΡŒ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠΈ составляСт дСсятков ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ΠΎΠ² Π΄ΠΎΠ»Π»Π°Ρ€ΠΎΠ²

Компании ΠΈΠ½Π²Π΅ΡΡ‚ΠΈΡ€ΡƒΡŽΡ‚ сущСствСнныС Π°ΠΊΡ‚ΠΈΠ²Ρ‹ Π² Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ расчётной инфраструктуры.

Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π° трансформСров

ВрансформСры ΡΠ²Π»ΡΡŽΡ‚ΡΡ собой построСниС Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΠΎΠ², ΠΏΡ€Π΅Π²Ρ€Π°Ρ‚ΠΈΠ²ΡˆΡƒΡŽΡΡ Π±Π°Π·ΠΎΠΉ ΠΏΠ΅Ρ€Π΅Π΄ΠΎΠ²Ρ‹Ρ… ΠΊΡ€ΡƒΠΏΠ½Ρ‹Ρ… Ρ€Π΅Ρ‡Π΅Π²Ρ‹Ρ… систСм. ΠŸΡ€ΠΈΠ½Ρ†ΠΈΠΏ Π±Ρ‹Π»Π° ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠ΅Π½Π° Π² 2017 Π³ΠΎΠ΄Ρƒ ΡƒΡ‡Ρ‘Π½Ρ‹ΠΌΠΈ Google. ΠžΡ€Π³Π°Π½ΠΈΠ·Π°Ρ†ΠΈΡ Π·Π°ΠΌΠ΅Π½ΠΈΠ»Π° Ρ€Π΅ΠΊΡƒΡ€Ρ€Π΅Π½Ρ‚Π½Ρ‹Π΅ систСмы ΠΈ Π΄Π°Π»Π° Π·Π°ΠΌΠ΅Ρ‚Π½Ρ‹ΠΉ Ρ€Ρ‹Π²ΠΎΠΊ Π² Π°Π½Π°Π»ΠΈΠ·Π΅ ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½Ρ‹ΠΉ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚ трансформСров — ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ ΠΊΠΎΠ½Ρ†Π΅Π½Ρ‚Ρ€Π°Ρ†ΠΈΠΈ. Π­Ρ‚ΠΎΡ‚ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ ΠΏΠΎΠΌΠΎΠ³Π°Π΅Ρ‚ систСмС ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡ‚ΡŒ Π²Π΅ΡΠΎΠΌΠΎΡΡ‚ΡŒ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ слова Π² контСкстС ΠΏΠΎΠ»Π½ΠΎΠΉ ряда. БистСма Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ связи ΠΌΠ΅ΠΆΠ΄Ρƒ всСми элСмСнтами сразу, Π° Π½Π΅ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ рассчитываСт коэффициСнты значСния для ΠΊΠ°ΠΆΠ΄ΠΎΠΉ сочСтания слов.

ВрансформСр состоит ΠΈΠ· мноТСства ΡƒΡ€ΠΎΠ²Π½Π΅ΠΉ, ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ ΠΈΠ· ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… ΠΎΡ…Π²Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Ρ‹ внимания ΠΈ искусствСнныС сСти. Π”Π°Π½Π½Ρ‹Π΅ ΠΏΡ€ΠΎΡ…ΠΎΠ΄ΠΈΡ‚ Ρ‡Π΅Ρ€Π΅Π· пласты ΠΏΠΎ порядку, дополняясь Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΌ этапС. Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π° Π²ΠΌΠ΅Ρ‰Π°Π΅Ρ‚ систСмы выравнивания для устойчивости настройки.

Достоинство трансформСров выраТаСтся Π² синхронизации расчётов. МодСль Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ всС элСмСнты синхронно, Ρ‡Ρ‚ΠΎ убыстряСт ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΡƒ ΠΏΠΎ ΡΠΎΠΏΠΎΡΡ‚Π°Π²Π»Π΅Π½ΠΈΡŽ с Ρ€Π΅ΠΊΡƒΡ€Ρ€Π΅Π½Ρ‚Π½Ρ‹ΠΌΠΈ сСтями. Π Π°ΡΡˆΠΈΡ€ΡΠ΅ΠΌΠΎΡΡ‚ΡŒ структуры enables Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ с ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Π°ΠΌΠΈ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»Π΅ΠΉ для выполнСния нСпростых ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ Π°Π½Π°Π»ΠΈΠ·Π° ΠΈΠ³Ρ€ΠΎΠ²Ρ‹Π΅ Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚Ρ‹.

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ лингвистичСскиС способы

Π―Π·Ρ‹ΠΊΠΎΠ²Ρ‹Π΅ способы ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой Π½Π°Π±ΠΎΡ€ Π½ΠΎΡ€ΠΌ ΠΈ ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€ для ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ письмСнной ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. Π­Ρ‚ΠΈ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡŽΡ‚ ΠΌΠ½ΠΎΠ³ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹Π΅ дСйствия: Ρ‚ΠΎΠΊΠ΅Π½ΠΈΠ·Π°Ρ†ΠΈΡŽ, Π»Π΅ΠΌΠΌΠ°Ρ‚ΠΈΠ·Π°Ρ†ΠΈΡŽ, синтаксичСский ΠΈΠ·ΡƒΡ‡Π΅Π½ΠΈΠ΅, Π²Ρ‹Π΄Π΅Π»Π΅Π½ΠΈΠ΅ Π΅Π΄ΠΈΠ½ΠΈΡ†. ΠŸΡ€ΠΈΡ‘ΠΌΡ‹ ΠΊΠΎΠ»Π΅Π±Π»ΡŽΡ‚ΡΡ ΠΎΡ‚ Π±Π°Π·ΠΎΠ²Ρ‹Ρ… ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠΎΠ² Π΄ΠΎ нСпростых вСроятностных Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ².

ΠžΠ±Ρ‹Ρ‡Π½Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ построСны Π½Π° языковых Π·Π°ΠΊΠΎΠ½Π°Ρ… ΠΈ словарях. РСгулярныС выраТСния enables ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡ‚ΡŒ ΠΏΠ°Ρ‚Ρ‚Π΅Ρ€Π½Ρ‹ Π² тСкстС. Алгоритмы стСмминга ΡƒΠ΄Π°Π»ΡΡŽΡ‚ ΠΊΠΎΠ½Ρ†ΠΎΠ²ΠΊΠΈ слов для извлСчСния стСрТня. ГрамматичСскиС парсСры Π²Ρ‹ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ Π³Ρ€Π°Ρ„Ρ‹ взаимосвязСй ΠΌΠ΅ΠΆΠ΄Ρƒ словами. Π’Π°ΠΊΠΈΠ΅ ΠΏΡ€ΠΈΡ‘ΠΌΡ‹ demand ΠΏΠ΅Ρ€ΡΠΎΠ½Π°Π»ΡŒΠ½ΠΎΠΉ ΠΊΠ°Π»ΠΈΠ±Ρ€ΠΎΠ²ΠΊΠΈ для ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΎΠ³ΠΎ языка.

ΠŸΠ΅Ρ€Π΅Π΄ΠΎΠ²Ρ‹Π΅ языковыС ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ ΡΠΊΡΠΏΠ»ΡƒΠ°Ρ‚ΠΈΡ€ΡƒΡŽΡ‚ машинноС ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΡƒ ΠΈ Π½Π΅Ρ€Π²Π½Ρ‹Π΅ сСти. БтатистичСскиС систСмы Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ Π½Π° Π°Π½Π½ΠΎΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π°Ρ… ΠΈ нСзависимо находят закономСрности. ΠœΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ выраТСния слов ΠΊΠΎΠ΄ΠΈΡ€ΡƒΡŽΡ‚ сСмантичСскоС ΠΏΠΎΠ΄ΠΎΠ±ΠΈΠ΅ ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½. ΠŸΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Ρ‹ ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠ·Π°Ρ†ΠΈΠΈ Π²Ρ‹ΡΠ²Π»ΡΡŽΡ‚ Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊΡƒ тСкста ΠΈΠ»ΠΈ настроСниС.

ЛингвистичСскиС способы ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ базис для Ρ€Π°Π±ΠΎΡ‚Ρ‹ ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ². LLM Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ мноТСство Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² Π² Π΅Π΄ΠΈΠ½ΡƒΡŽ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ. ВрансформСры ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡ€ΡƒΡŽΡ‚ прСимущСства ΠΎΡ‚Π»ΠΈΡ‡Π°ΡŽΡ‰ΠΈΡ…ΡΡ ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΎΠ² ΠΊ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅.

Π€ΡƒΠ½ΠΊΡ†ΠΈΠΈ LLM

Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ Ρ€Π΅Ρ‡Π΅Π²Ρ‹Π΅ систСмы ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ²Π°ΡŽΡ‚ ΠΎΠ±ΡˆΠΈΡ€Π½Ρ‹ΠΉ спСктр Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ Π² ΠΎΠ±Ρ€Π°Ρ‰Π΅Π½ΠΈΠΈ с тСкстом. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΊ Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹ΠΌ Π·Π°Π΄Π°Ρ‡Π°ΠΌ Π±Π΅Π· ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ пСрСобучСния. Π’ΡΠ΅ΡΡ‚ΠΎΡ€ΠΎΠ½Π½ΠΎΡΡ‚ΡŒ создаёт LLM ΡΠΈΠ»ΡŒΠ½Ρ‹ΠΌ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΠΎΠΌ для Ρ€ΠΎΠ±ΠΎΡ‚ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΌΡ‹ΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ Ρ€Π°Π±ΠΎΡ‚Ρ‹ с ΠΈΠ³Ρ€ΠΎΠ²Ρ‹Π΅ Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚Ρ‹.

Π“Π»Π°Π²Π½Ρ‹Π΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠ΅Ρ€Π΅Π΄ΠΎΠ²Ρ‹Ρ… Ρ€Π΅Ρ‡Π΅Π²Ρ‹Ρ… Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² ΠΎΡ…Π²Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚:

  • ГСнСрация тСкстов Ρ€Π°Π·Π½Ρ‹Ρ… Ρ‚ΠΈΠΏΠΎΠ² ΠΈ способов — ΡΡ‚Π°Ρ‚ΡŒΠΈ, повСствования, дСловая коррСспондСнция
  • Врансляция ΠΌΠ΅ΠΆΠ΄Ρƒ языками с соблюдСниСм смысла ΠΈ контСкста
  • Буммаризация ΠΎΠ±ΡŠΡ‘ΠΌΠ½Ρ‹Ρ… Ρ„Π°ΠΉΠ»ΠΎΠ² с ΠΈΠ·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΠ΅ΠΌ Π³Π»Π°Π²Π½Ρ‹Ρ… мыслСй
  • РСшСния Π½Π° вопросы Π½Π° Π±Π°Π·Π΅ ΠΏΠ΅Ρ€Π΅Π΄Π°Π½Π½ΠΎΠΉ свСдСний ΠΈΠ»ΠΈ ΠΎΠ±Ρ‰ΠΈΡ… свСдСний
  • Анализ Ρ‚ΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΈ психологичСской Ρ…Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€Π° тСкстов
  • ΠšΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΠ·Π°Ρ†ΠΈΡ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ² ΠΏΠΎ Π³Ρ€ΡƒΠΏΠΏΠ°ΠΌ ΠΈ Ρ‚Π΅ΠΌΠ°ΠΌ
  • Π”ΠΎΠ±Ρ‹Ρ‡Π° структурированной ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ² ΠΈΠ· нСструктурированных ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ²

LLM ΡƒΠΌΠ΅ΡŽΡ‚ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ числовыС вычислСния, Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ софтвСрный ΠΊΠΎΠ΄ ΠΈ ΠΎΠ±ΡŠΡΡΠ½ΡΡ‚ΡŒ комплСксныС ΠΈΠ΄Π΅ΠΈ ясным языком. БистСмы ΠΏΡ€ΠΎΡΠ²Π»ΡΡŽΡ‚ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΈ рассуТдСния ΠΈ аналитичСского ΡƒΠΌΠΎΠ·Π°ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ. МодСли Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΊ Ρ„ΠΎΡ€ΠΌΠ΅ общСния ΠΊΠ»ΠΈΠ΅Π½Ρ‚Π° ΠΈ Ρ€Π°ΡΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°ΡŽΡ‚ контСкст ΠΏΡ€ΠΎΡˆΠ»Ρ‹Ρ… сообщСний Π² ΠΎΠ±Ρ‰Π΅Π½ΠΈΠΈ.

НСдостатки LLM

ΠœΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Π΅ Ρ€Π΅Ρ‡Π΅Π²Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ ΠΈΠΌΠ΅ΡŽΡ‚ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ ограничСния, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Ρ‚ΡŒ Π²ΠΎ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ ΠΏΡ€ΠΈ Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠΌ использовании. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Π½Π΅ Ρ€Π°ΡΠΏΠΎΠ»Π°Π³Π°ΡŽΡ‚ настоящим осмыслСниСм Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΈ ΠΌΠ°Π½ΠΈΠΏΡƒΠ»ΠΈΡ€ΡƒΡŽΡ‚ статистичСскими ΠΏΡ€Π°Π²ΠΈΠ»Π°ΠΌΠΈ Π² словСсных Π΄Π°Π½Π½Ρ‹Ρ…. БистСмы ΠΊΠΎΠΏΠΈΡ€ΡƒΡŽΡ‚ ΠΎΠ±Ρ€Π°Π·Ρ†Ρ‹ Π±Π΅Π· восприятия смысла ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Π€Π°Π½Ρ‚Π°Π·ΠΈΠΈ ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΡƒΡŽ Ρ‚Ρ€ΡƒΠ΄Π½ΠΎΡΡ‚ΡŒ для LLM. Алгоритмы ΠΌΠΎΠ³ΡƒΡ‚ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ достовСрно Π·Π²ΡƒΡ‡Π°Ρ‰ΡƒΡŽ, Π½ΠΎ фактичСски Π»ΠΎΠΆΠ½ΡƒΡŽ Π΄Π°Π½Π½Ρ‹Π΅. Алгоритмы ΠΊΠ°Ρ‚Π΅Π³ΠΎΡ€ΠΈΡ‡Π½ΠΎ ΠΈΠ·Π»Π°Π³Π°ΡŽΡ‚ Π»ΠΎΠΆΠ½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅, ΠΌΠ½ΠΈΠΌΡ‹Π΅ источники ΠΈΠ»ΠΈ ΠΎΡˆΠΈΠ±ΠΎΡ‡Π½Ρ‹Π΅ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ. Валидация правдивости сгСнСрированного ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΏΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠ°Π΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ.

Π Π°Π±ΠΎΡ‡Π΅Π΅ Ρ€Π°ΠΌΠΊΠ° суТаСт количСство свСдСний, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ систСма Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ Π·Π° СдинствСнный Ρ†ΠΈΠΊΠ». Π—Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Π°Ρ доля LLM Π²Π·Π°ΠΈΠΌΠΎΠ΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ с нСсколькими тысячами Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Π°ΠΌΠΈ. Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ тСксты Π½ΡƒΠΆΠ΄Π°ΡŽΡ‚ΡΡ разбиСния Π½Π° Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Ρ‹, Ρ‡Ρ‚ΠΎ Π²Π΅Π΄Ρ‘Ρ‚ ΠΊ ослаблСнию Сдинства ΠΌΠ΅ΠΆΠ΄Ρƒ сСгмСнтами ΠΈΠ³Ρ€ΠΎΠ²Ρ‹Π΅ Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚Ρ‹.

БистСмы Π΄Π΅ΠΌΠΎΠ½ΡΡ‚Ρ€ΠΈΡ€ΡƒΡŽΡ‚ прСдвзятости, ΠΏΡ€ΠΈΡΡƒΡ‚ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠ΅ Π² ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. БистСмы способны Π΄ΡƒΠ±Π»ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ клишС ΠΈΠ»ΠΈ пристрастныС суТдСния. Π‘Π²Π΅ΠΆΠ΅ΡΡ‚ΡŒ свСдСний ΡƒΡ€Π΅Π·Π°Π½Π° Π΄Π°Ρ‚ΠΎΠΉ Π·Π°Π²Π΅Ρ€ΡˆΠ΅Π½ΠΈΡ Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ. LLM Π½Π΅ Ρ€Π°ΡΠΏΠΎΠ»Π°Π³Π°ΡŽΡ‚ способности ΠΊ ΠΏΡ€ΠΎΠΈΡΡˆΠ΅ΡΡ‚Π²ΠΈΡΠΌ послС настройки ΠΈ Π½Π΅ ΠΎΠ±Π½ΠΎΠ²Π»ΡΡŽΡ‚ свСдСния Π±Π΅Π· участия Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ°.

ИспользованиС LLM ΠΈ лингвистичСских Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² Π² ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹Ρ… опСрациях

ΠšΡ€ΡƒΠΏΠ½Ρ‹Π΅ языковыС ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Ρ‹ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ тСкста находят массовоС ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ Π² ΠΏΡ€Π΅Π΄ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°Ρ‚Π΅Π»ΡŒΡΡ‚Π²Π΅ ΠΈ Π±ΡƒΠ΄Π½ΠΈΡ‡Π½ΠΎΠΉ ΠΆΠΈΠ·Π½ΠΈ. Компании Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ для увСличСния эффСктивности ΠΈ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΏΠΎΡ‚Ρ€Π΅Π±ΠΈΡ‚Π΅Π»ΡŒΡΠΊΠΎΠ³ΠΎ ΠΎΠΏΡ‹Ρ‚Π°.

Π’ области ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΊΠΈ Π²ΠΈΡ€Ρ‚ΡƒΠ°Π»ΡŒΠ½Ρ‹Π΅ ассистСнты Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ обращСния ΠΏΠΎΡ‚Ρ€Π΅Π±ΠΈΡ‚Π΅Π»Π΅ΠΉ круглосуточно. Π§Π°Ρ‚-Π±ΠΎΡ‚Ρ‹ ΠΎΡ‚ΠΊΠ»ΠΈΠΊΠ°ΡŽΡ‚ΡΡ Π½Π° стандартныС запросы, ΡΠΎΠ΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ с ΠΎΡ„ΠΎΡ€ΠΌΠ»Π΅Π½ΠΈΠ΅ΠΌ ΠΏΠΎΠΊΡƒΠΏΠΎΠΊ ΠΈ Ρ€Π°Π·Ρ€Π΅ΡˆΠ°ΡŽΡ‚ тСхнологичСскими вопросы. БистСмы Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ трСбования для распознавания рСгулярных трудностСй с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

Π˜Π½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΎΠ½Π½Ρ‹ΠΉ ΠΌΠ°Ρ€ΠΊΠ΅Ρ‚ΠΈΠ½Π³ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ LLM для формирования тСкстов Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… ΠΆΠ°Π½Ρ€ΠΎΠ². ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΡΠΎΠ·Π΄Π°ΡŽΡ‚ Π°Π½Π½ΠΎΡ‚Π°Ρ†ΠΈΠΈ ΠΏΡ€Π΅Π΄ΠΌΠ΅Ρ‚ΠΎΠ², ΡΡ‚Π°Ρ‚ΡŒΠΈ для Π±Π»ΠΎΠ³ΠΎΠ², ΠΏΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΠΈ Π² ΡΠΎΡ†ΠΈΠ°Π»ΡŒΠ½Ρ‹Ρ… сСтях. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ ΡΡ‚ΠΈΠ»ΡŒ ΠΏΠΎΠ΄ Ρ†Π΅Π»Π΅Π²ΡƒΡŽ Π³Ρ€ΡƒΠΏΠΏΡƒ. Автоматизация высвобоТдаСт ΠΏΠ΅Ρ€ΠΈΠΎΠ΄ спСциалистов для творчСской Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ.

ΠžΠ±Ρ€Π°Π·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ ΠΏΠ»Π°Ρ‚Ρ„ΠΎΡ€ΠΌΡ‹ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ лингвистичСскиС ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ для пСрсонализации Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΡŽΡ‚ ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½Ρ‹Π΅ рСсурсы, ΠΏΡ€ΠΎΠ²Π΅Ρ€ΡΡŽΡ‚ тСкстовыС упраТнСния ΠΈ ΠΏΠ΅Ρ€Π΅Π΄Π°ΡŽΡ‚ ΠΎΡ‚Π²Π΅Ρ‚Π½ΡƒΡŽ Ρ€Π΅Π°ΠΊΡ†ΠΈΡŽ. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΡΠΎΠ΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ Π² ΠΈΠ·ΡƒΡ‡Π΅Π½ΠΈΠΈ Ρ‡ΡƒΠΆΠΈΡ… языков Ρ‡Π΅Ρ€Π΅Π· ΠΈΠ½Ρ‚Π΅Ρ€Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹Π΅ Π΄ΠΈΠ°Π»ΠΎΠ³ΠΈ.

Π’Ρ€Π°Ρ‡Π΅Π±Π½Ρ‹Π΅ институты ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ способы для Π°Π½Π°Π»ΠΈΠ·Π° Ρ„Π°ΠΉΠ»ΠΎΠ² ΠΈ извлСчСния свСдСний ΠΈΠ· ΠΊΠ°Ρ€Ρ‚ Π±ΠΎΠ»Π΅Π·Π½ΠΈ.

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ языковыС ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ Π·Π°Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ Π½ΡƒΠΆΠ½Ρ‹

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ языковыС ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ Π·Π°Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ Π½ΡƒΠΆΠ½Ρ‹

ЛингвистичСскиС ΠΌΠΎΠ΄Π΅Π»ΠΈ ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой софтвСрныС ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹, ΠΌΠΎΠ³ΡƒΡ‰ΠΈΠ΅ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ ΠΈ ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ тСкст Π½Π° ΠΎΠ±Ρ‹Ρ‡Π½ΠΎΠΌ языкС. Π­Ρ‚ΠΈ срСдства ΠΈΡΡΠ»Π΅Π΄ΡƒΡŽΡ‚ сСрии слов, Π²Ρ‹Ρ‡ΠΈΡΠ»ΡΡŽΡ‚ Π²Π΅Ρ€ΠΎΡΡ‚Π½ΠΎΡΡ‚ΡŒ появлСния ΠΈΠ΄ΡƒΡ‰Π΅Π³ΠΎ элСмСнта ΠΈ производят осмыслСнныС куски тСкста. ΠΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½Ρ‹Π΅ Ρ€Π΅ΠΉΡ‚ΠΈΠ½Π³ ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠΏΠΈΡ€Π°ΡŽΡ‚ΡΡ Π½Π° расчётных ΠΌΠ΅Ρ‚ΠΎΠ΄Π°Ρ… ΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтях.

Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½Π°Ρ Ρ†Π΅Π»ΡŒ Ρ‚Π°ΠΊΠΈΡ… ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΠΎΠ² состоит Π² восприятии контСкста ΠΈ сСмантичСских ΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΠΉ ΠΌΠ΅ΠΆΠ΄Ρƒ словами. Алгоритмы учатся Π½Π°Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ закономСрности Π² ΠΎΠ³Ρ€ΠΎΠΌΠ½Ρ‹Ρ… массивах тСкстовых Π΄Π°Π½Π½Ρ‹Ρ…. ПослС Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ прилоТСния Ρ€Π΅ΡˆΠ°ΡŽΡ‚ Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹Π΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ: ΠΎΡ‚ΠΊΠ»ΠΈΠΊΠ°ΡŽΡ‚ΡΡ Π½Π° вопросы, пСрСводят тСксты, ΡΡƒΠΌΠΌΠΈΡ€ΡƒΡŽΡ‚ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Ρ‹.

ΠŸΡ€ΠΈΠΊΠ»Π°Π΄Π½ΠΎΠ΅ задСйствованиС Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ мноТСство отраслСй. ΠŸΡ€Π΅Π΄ΠΏΡ€ΠΈΡΡ‚ΠΈΡ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ инструмСнты для Ρ€ΠΎΠ±ΠΎΡ‚ΠΈΠ·Π°Ρ†ΠΈΠΈ сСрвиса Π·Π°ΠΊΠ°Π·Ρ‡ΠΈΠΊΠΎΠ² Ρ‡Π΅Ρ€Π΅Π· Ρ‡Π°Ρ‚-Π±ΠΎΡ‚ΠΎΠ². Π Π΅Π΄Π°ΠΊΡ†ΠΈΠΈ Π·Π°Π΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ систСмы для формирования Π·Π°Π³ΠΎΡ‚ΠΎΠ²ΠΎΠΊ. Π˜Π½ΠΆΠ΅Π½Π΅Ρ€Ρ‹ ΠΈΠ½Ρ‚Π΅Π³Ρ€ΠΈΡ€ΡƒΡŽΡ‚ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Π² поисковики для ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΎΠ². ΠžΠ±Ρ€Π°Π·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ рСсурсы Ρ€Π°Π·Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ ΠΏΠ»Π°Π½Ρ‹ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ 10 Π»ΡƒΡ‡ΡˆΠΈΡ… ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

ВСхнология ΠΎΠ±Ρ€Π΅Ρ‚Π°Π΅Ρ‚ использованиС Π² Π·Π΄Ρ€Π°Π²ΠΎΠΎΡ…Ρ€Π°Π½Π΅Π½ΠΈΠΈ, ΠΏΡ€Π°Π²Π΅, ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΡ… исслСдованиях ΠΈ худоТСствСнных индустриях.

ΠžΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ LLM (Large Language Model): Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ ΠΎΡ‚Π»ΠΈΡ‡Π°ΡŽΡ‚ΡΡ ΠΎΡ‚ стандартных ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ

LLM Ρ€Π°ΡΡˆΠΈΡ„Ρ€ΠΎΠ²Ρ‹Π²Π°Π΅Ρ‚ΡΡ ΠΊΠ°ΠΊ Large Language Model — ΠΎΠ±ΡŠΡ‘ΠΌΠ½Π°Ρ рСчСвая систСма. НазваниС ΠΎΡ‚Ρ€Π°ΠΆΠ°Π΅Ρ‚ Π½Π° Ρ€Π°Π·ΠΌΠ΅Ρ€ систСмы, измСряСмый Ρ‡ΠΈΡΠ»Π΅Π½Π½ΠΎΡΡ‚ΡŒΡŽ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ…. ΠŸΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой измСняСмыС ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Ρ‹ Π½Π΅Ρ€Π²Π½ΠΎΠΉ сСти, ΡƒΡΡ‚Π°Π½Π°Π²Π»ΠΈΠ²Π°ΡŽΡ‰ΠΈΠ΅ дСйствиС ΠΏΡ€ΠΈ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ тСкста.

ΠžΠ±Ρ‹Ρ‡Π½Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Π²ΠΌΠ΅Ρ‰Π°ΡŽΡ‚ ΠΌΠΈΠ»Π»ΠΈΠΎΠ½Ρ‹ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΈ Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ Π½Π° ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ…. Π’Π°ΠΊΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ с частными опСрациями: сортировкой тСкстов, ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅ΠΌ сущностСй, ΠΎΡ†Π΅Π½ΠΊΠΎΠΉ Ρ‚ΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ. ΠŸΠΎΡ‚Π΅Π½Ρ†ΠΈΠ°Π» стандартных ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ ΠΎΠ³Ρ€Π°Π½ΠΈΡ‡Π΅Π½Ρ‹ спСцифичСской Π½Π°ΠΏΡ€Π°Π²Π»Π΅Π½ΠΈΠ΅ΠΌ.

ΠžΠ±ΡŠΡ‘ΠΌΠ½Ρ‹Π΅ систСмы ΠΎΡ…Π²Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Ρ‹ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΈ учатся Π½Π° ΠΊΠΎΠ»ΠΎΡΡΠ°Π»ΡŒΠ½Ρ‹Ρ… тСкстовых Π½Π°Π±ΠΎΡ€Π°Ρ…. GPT-3 Π²ΠΌΠ΅Ρ‰Π°Π΅Ρ‚ 175 ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄ΠΎΠ² ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ…, Ρ‡Ρ‚ΠΎ Π΄Π°Ρ‘Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ Ρ€Π΅ΡˆΠ°Ρ‚ΡŒ ΡˆΠΈΡ€ΠΎΠΊΠΈΠΉ Π΄ΠΈΠ°ΠΏΠ°Π·ΠΎΠ½ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ Π±Π΅Π· ΡΠΏΠ΅Ρ†ΠΈΠ°Π»ΡŒΠ½ΠΎΠΉ подстройки. LLM ΠΏΡ€ΠΎΡΠ²Π»ΡΡŽΡ‚ ΡƒΠΌΠ΅Π½ΠΈΠ΅ ΠΊ объСдинСнию ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΎΡ‚Π»ΠΈΡ‡Π°ΡŽΡ‰ΠΈΠΌΠΈΡΡ ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

ОсновноС ΠΎΡ‚Π»ΠΈΡ‡ΠΈΠ΅ выраТаСтся Π² гибкости. Π’Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Π½ΡƒΠΆΠ΄Π°ΡŽΡ‚ΡΡ пСрСобучСния для ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠΉ Π·Π°Π΄Π°Ρ‡ΠΈ. Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ Ρ‡Π΅Ρ€Π΅Π· запросы — словСсныС ΠΊΠΎΠΌΠ°Π½Π΄Ρ‹. Π’Π΅Π»ΠΈΡ‡ΠΈΠ½Π° обСспСчиваСт качСствСнный Ρ€Ρ‹Π²ΠΎΠΊ Π² восприятии контСкста ΠΈ создании.

Из Ρ‡Π΅Π³ΠΎ построСно LLM: Ρ‚ΠΎΠΊΠ΅Π½Ρ‹, ΡΠ»ΠΎΠ²Π°Ρ€ΡŒ ΠΈ характСристики ΠΌΠΎΠ΄Π΅Π»ΠΈ

Π’ΠΎΠΊΠ΅Π½Ρ‹ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ основными элСмСнтами Π°Π½Π°Π»ΠΈΠ·Π° тСкста Π² Ρ€Π΅Ρ‡Π΅Π²Ρ‹Ρ… систСмах. МодСль Ρ€Π°Π·Π±ΠΈΠ²Π°Π΅Ρ‚ Π²Ρ…ΠΎΠ΄Π½ΠΎΠΉ тСкст Π½Π° куски — ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ слова, ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Ρ‹ слов ΠΈΠ»ΠΈ символы. Один Π΅Π΄ΠΈΠ½ΠΈΡ†Π° ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΡ‚Π²Π΅Ρ‡Π°Ρ‚ΡŒ Π·Π°Π²Π΅Ρ€ΡˆΡ‘Π½Π½ΠΎΠΌΡƒ слову, ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰Π΅ΠΉ ΠΈΠ»ΠΈ Π·Π½Π°Ρ‡ΠΊΡƒ прСпинания. ΠœΠ΅Ρ‚ΠΎΠ΄ дСлСния называСтся Ρ‚ΠΎΠΊΠ΅Π½ΠΈΠ·Π°Ρ†ΠΈΠ΅ΠΉ.

Набор систСмы ΠΎΡ…Π²Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ всС допустимыС Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ ΡƒΠΌΠ΅Π΅Ρ‚ ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΡ†ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ. ΠžΠ±ΡŠΡ‘ΠΌ лСксикона Π²Π°Ρ€ΡŒΠΈΡ€ΡƒΠ΅Ρ‚ΡΡ ΠΎΡ‚ дСсятков Π΄ΠΎ сотСн тысяч ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰ΠΈΡ…. ΠšΠ°ΠΆΠ΄ΠΎΠΌΡƒ Ρ‚ΠΎΠΊΠ΅Π½Ρƒ присваиваСтся особый числовой Π½ΠΎΠΌΠ΅Ρ€. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½ΠΈΡ€ΡƒΠ΅Ρ‚ с количСствСнными прСдставлСниями, Π° Π½Π΅ с ΠΎΡ€ΠΈΠ³ΠΈΠ½Π°Π»ΡŒΠ½Ρ‹ΠΌ тСкстом. Π₯Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€ Π½Π°Π±ΠΎΡ€Π° отраТаСтся Π½Π° ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚ΠΊΡƒ ΠΌΠ°Π»ΠΎΡƒΠΏΠΎΡ‚Ρ€Π΅Π±ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… слов ΠΈ тСхничСской ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

ΠŸΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ Π²Ρ‹ΡΡ‚ΡƒΠΏΠ°ΡŽΡ‚ собой количСствСнныС значСния соСдинСний ΠΌΠ΅ΠΆΠ΄Ρƒ элСмСнтами Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти. Π­Ρ‚ΠΈ Π²Π΅Π»ΠΈΡ‡ΠΈΠ½Ρ‹ Ρ€Π΅Π³ΡƒΠ»ΠΈΡ€ΡƒΡŽΡ‚, ΠΊΠ°ΠΊ модСль трансформируСт Π½Π°Ρ‡Π°Π»ΡŒΠ½Ρ‹Π΅ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ Π² ΠΈΡ‚ΠΎΠ³ΠΈ. Π’ Ρ€Π°ΠΌΠΊΠ°Ρ… Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ ΠΈΠ·ΠΌΠ΅Π½ΡΡŽΡ‚ΡΡ для сокращСния ошибок. Π‘ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ LLM Π²ΠΌΠ΅Ρ‰Π°ΡŽΡ‚ дСсятки ΠΈΠ»ΠΈ сотни ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄ΠΎΠ² ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ…, рассрСдоточСнных ΠΏΠΎ мноТСству ярусов. Π§ΠΈΡΠ»Π΅Π½Π½ΠΎΡΡ‚ΡŒ характСристик соотносится с расчётными Π½ΡƒΠΆΠ΄Π°ΠΌΠΈ ΠΈ Ρ…Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€ΠΎΠΌ функционирования ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Как ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‚ LLM: Π½Π°Π±ΠΎΡ€Ρ‹ Π΄Π°Π½Π½Ρ‹Ρ…, ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ ΠΏΠΎΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π³ΠΎ слова ΠΈ ΠΌΠ°ΡΡˆΡ‚Π°Π±Ρ‹ вычислСний

Настройка ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… языковых Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² запускаСтся со накоплСния Π½Π°Π±ΠΎΡ€ΠΎΠ² Π΄Π°Π½Π½Ρ‹Ρ… — ΠΊΠΎΠ»ΠΎΡΡΠ°Π»ΡŒΠ½Ρ‹Ρ… Π°Ρ€Ρ…ΠΈΠ²ΠΎΠ² тСкстов. ДатасСты содСрТат ΠΊΠ½ΠΈΠ³ΠΈ, ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹, Π²Π΅Π±-страницы, акадСмичСскиС Ρ€Π°Π±ΠΎΡ‚Ρ‹. ΠžΠ±ΡŠΡ‘ΠΌ Π΄Π°Π½Π½Ρ‹Ρ… для Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ опрСдСляСтся Ρ‚Π΅Ρ€Π°Π±Π°ΠΉΡ‚Π°ΠΌΠΈ. Π Π°Π·Π½ΠΎΡ€ΠΎΠ΄Π½ΠΎΡΡ‚ΡŒ тСкстов Π΄Π°Ρ‘Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΏΠΎΠ·Π½Π°Π²Π°Ρ‚ΡŒ всСвозмоТныС способы выраТСния.

ΠšΠ»ΡŽΡ‡Π΅Π²ΠΎΠΉ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠΈ основываСтся Π½Π° прСдсказании ΠΏΠΎΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π³ΠΎ элСмСнта. БистСма Π±Π΅Ρ€Ρ‘Ρ‚ ряд слов ΠΈ стараСтся Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚ΡŒ, ΠΊΠ°ΠΊΠΎΠ΅ слово ΠΏΡ€ΠΈΠ΄Ρ‘Ρ‚ Π΄Π°Π»Π΅Π΅. Алгоритм провСряСт ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅ с фактичСским слСдованиСм ΠΈ Ρ€Π΅Π³ΡƒΠ»ΠΈΡ€ΡƒΠ΅Ρ‚ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ для ΡƒΠΌΠ΅Π½ΡŒΡˆΠ΅Π½ΠΈΡ нСточности. ΠŸΡ€ΠΎΡ†Π΅ΡΡ возобновляСтся ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Ρ‹ Ρ€Π°Π· Π½Π° Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹Ρ… частях 10 Π»ΡƒΡ‡ΡˆΠΈΡ… ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

ΠœΠ°ΡΡˆΡ‚Π°Π±Ρ‹ вычислСний для обучСния LLM Π²ΠΏΠ΅Ρ‡Π°Ρ‚Π»ΡΡŽΡ‚:

  • Настройка нуТдаСтся тысяч ΠΏΡ€ΠΎΡ„ΠΈΠ»ΡŒΠ½Ρ‹Ρ… Π²ΠΈΠ΄Π΅ΠΎ процСссоров
  • ΠžΠΏΠ΅Ρ€Π°Ρ†ΠΈΡ Π·Π°Π½ΠΈΠΌΠ°Π΅Ρ‚ Π½Π΅Π΄Π΅Π»ΠΈ ΠΈΠ»ΠΈ мСсяцы постоянной функционирования
  • Π­Π½Π΅Ρ€Π³ΠΎΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΠ΅ Ρ€Π°Π²Π½ΠΎ Π΅ΠΆΠ΅Π³ΠΎΠ΄Π½ΠΎΠΌΡƒ Π·Π°Ρ‚Ρ€Π°Ρ‚Π°ΠΌ ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠ³ΠΎ насСлённого ΠΏΡƒΠ½ΠΊΡ‚Π°
  • Расходы Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ составляСт дСсятков ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ΠΎΠ² Π΄ΠΎΠ»Π»Π°Ρ€ΠΎΠ²

Π€ΠΈΡ€ΠΌΡ‹ Π²ΠΊΠ»Π°Π΄Ρ‹Π²Π°ΡŽΡ‚ большиС срСдства Π² созданиС процСссорной структуры.

Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π° трансформСров

ВрансформСры ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρƒ Π½Π΅Ρ€Π²Π½Ρ‹Ρ… структур, ΠΎΠΊΠ°Π·Π°Π²ΡˆΡƒΡŽΡΡ базисом соврСмСнных ΠΎΠ±ΡŠΡ‘ΠΌΠ½Ρ‹Ρ… Ρ€Π΅Ρ‡Π΅Π²Ρ‹Ρ… ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ. ИдСя Π±Ρ‹Π»Π° прСдставлСна Π² 2017 Π³ΠΎΠ΄Ρƒ спСциалистами Google. Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π° ΠΏΠΎΠ΄ΠΌΠ΅Π½ΠΈΠ»Π° рСкурсивныС сСти ΠΈ Π΄Π°Π»Π° Π·Π°ΠΌΠ΅Ρ‚Π½Ρ‹ΠΉ скачок Π² Π°Π½Π°Π»ΠΈΠ·Π΅ ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Π“Π»Π°Π²Π½Ρ‹ΠΉ ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰Π°Ρ трансформСров — устройство фокусировки. Π­Ρ‚ΠΎΡ‚ систСма позволяСт Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡƒ ΡƒΡΡ‚Π°Π½Π°Π²Π»ΠΈΠ²Π°Ρ‚ΡŒ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ слова Π² составС ΠΏΠΎΠ»Π½ΠΎΠΉ Ρ†Π΅ΠΏΠΎΡ‡ΠΊΠΈ. Алгоритм ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ взаимосвязи ΠΌΠ΅ΠΆΠ΄Ρƒ всСми Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Π°ΠΌΠΈ сразу, Π° Π½Π΅ ΠΏΠΎ порядку. МодСль опрСдСляСт ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ вСсомости для ΠΊΠ°ΠΆΠ΄ΠΎΠΉ сочСтания слов.

ВрансформСр складываСтся ΠΈΠ· совокупности ΡƒΡ€ΠΎΠ²Π½Π΅ΠΉ, ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ ΠΈΠ· ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… содСрТит ΠΌΠΎΠ΄ΡƒΠ»ΠΈ ΠΊΠΎΠ½Ρ†Π΅Π½Ρ‚Ρ€Π°Ρ†ΠΈΠΈ ΠΈ Π½Π΅Ρ€Π²Π½Ρ‹Π΅ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹. БвСдСния двиТСтся Ρ‡Π΅Ρ€Π΅Π· слои ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ, дополняясь Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΌ этапС. ΠŸΠΎΡΡ‚Ρ€ΠΎΠ΅Π½ΠΈΠ΅ содСрТит устройства Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ для устойчивости Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ.

ΠŸΡ€Π΅ΠΈΠΌΡƒΡ‰Π΅ΡΡ‚Π²ΠΎ трансформСров выраТаСтся Π² синхронизации расчётов. БистСма ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ всС Π΅Π΄ΠΈΠ½ΠΈΡ†Ρ‹ сразу, Ρ‡Ρ‚ΠΎ форсируСт ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΡƒ ΠΏΠΎ ΡΠΎΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΡŽ с рСкурсивными сСтями. Π Π°ΡΡˆΠΈΡ€ΡΠ΅ΠΌΠΎΡΡ‚ΡŒ структуры Π΄Π°Ρ‘Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ с ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Π°ΠΌΠΈ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² для Ρ€Π΅Π°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ слоТных Π·Π°Π΄Π°Ρ‡ Π°Π½Π°Π»ΠΈΠ·Π° ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ языковыС ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹

Π Π΅Ρ‡Π΅Π²Ρ‹Π΅ ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Ρ‹ ΡΠ²Π»ΡΡŽΡ‚ΡΡ собой ΡΠΎΠ²ΠΎΠΊΡƒΠΏΠ½ΠΎΡΡ‚ΡŒ Π½ΠΎΡ€ΠΌ ΠΈ дСйствий для Π°Π½Π°Π»ΠΈΠ·Π° письмСнной ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. Π­Ρ‚ΠΈ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Ρ€Π΅Π°Π»ΠΈΠ·ΡƒΡŽΡ‚ всСвозмоТныС дСйствия: Ρ‚ΠΎΠΊΠ΅Π½ΠΈΠ·Π°Ρ†ΠΈΡŽ, Π»Π΅ΠΌΠΌΠ°Ρ‚ΠΈΠ·Π°Ρ†ΠΈΡŽ, синтаксичСский Ρ€Π°Π·Π±ΠΎΡ€, ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΎΠ². ΠŸΡ€ΠΈΡ‘ΠΌΡ‹ ΠΊΠΎΠ»Π΅Π±Π»ΡŽΡ‚ΡΡ ΠΎΡ‚ элСмСнтарных Π·Π°ΠΊΠΎΠ½ΠΎΠ² Π΄ΠΎ Π·Π°ΠΏΡƒΡ‚Π°Π½Π½Ρ‹Ρ… статистичСских ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ.

ΠšΠ»Π°ΡΡΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ способы Π±Π°Π·ΠΈΡ€ΡƒΡŽΡ‚ΡΡ Π½Π° языковых ΠΏΡ€Π°Π²ΠΈΠ»Π°Ρ… ΠΈ лСксиконах. Π’ΠΈΠΏΠΎΠ²Ρ‹Π΅ ΡˆΠ°Π±Π»ΠΎΠ½Ρ‹ enables Π½Π°Ρ…ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΏΠ°Ρ‚Ρ‚Π΅Ρ€Π½Ρ‹ Π² тСкстС. Бпособы стСмминга ΠΎΠ±Ρ€Π΅Π·Π°ΡŽΡ‚ ΠΊΠΎΠ½Ρ†ΠΎΠ²ΠΊΠΈ слов для получСния основы. Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π½Ρ‹Π΅ ΠΈΠ½Ρ‚Π΅Ρ€ΠΏΡ€Π΅Ρ‚Π°Ρ‚ΠΎΡ€Ρ‹ строят структуры связСй ΠΌΠ΅ΠΆΠ΄Ρƒ словами. Π’Π°ΠΊΠΈΠ΅ способы demand ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠΉ настройки для ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ языка.

ΠŸΠ΅Ρ€Π΅Π΄ΠΎΠ²Ρ‹Π΅ языковыС способы ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ автоматичСскоС ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΡƒ ΠΈ искусствСнныС сСти. ВСроятностныС Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ Π½Π° Π°Π½Π½ΠΎΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ ΡΠ°ΠΌΠΎΡΡ‚ΠΎΡΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ²Π°ΡŽΡ‚ ΡˆΠ°Π±Π»ΠΎΠ½Ρ‹. ΠœΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ Ρ„ΠΎΡ€ΠΌΡ‹ слов Π·Π°ΠΏΠΈΡΡ‹Π²Π°ΡŽΡ‚ смысловоС родство ΠΌΠ΅ΠΆΠ΄Ρƒ 10 Π»ΡƒΡ‡ΡˆΠΈΡ… ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½. Алгоритмы Π³Ρ€ΡƒΠΏΠΏΠΈΡ€ΠΎΠ²ΠΊΠΈ Π²Ρ‹ΡΠ²Π»ΡΡŽΡ‚ Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊΡƒ тСкста ΠΈΠ»ΠΈ окраску.

Π―Π·Ρ‹ΠΊΠΎΠ²Ρ‹Π΅ ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Ρ‹ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ основу для функционирования ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ. LLM Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ ΠΎΠ±ΠΈΠ»ΠΈΠ΅ способов Π² ΠΎΠ±Ρ‰ΡƒΡŽ структуру. ВрансформСры ΠΊΠΎΠΌΠ±ΠΈΠ½ΠΈΡ€ΡƒΡŽΡ‚ ΡΠΈΠ»ΡŒΠ½Ρ‹Π΅ стороны Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… стратСгий ΠΊ Π°Π½Π°Π»ΠΈΠ·Ρƒ.

ВозмоТности LLM

ΠœΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Π΅ лингвистичСскиС систСмы Π΄Π΅ΠΌΠΎΠ½ΡΡ‚Ρ€ΠΈΡ€ΡƒΡŽΡ‚ ΠΎΠ±ΡˆΠΈΡ€Π½Ρ‹ΠΉ спСктр Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ Π² Ρ€Π°Π±ΠΎΡ‚Π΅ с тСкстом. МодСли Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ ΠΊ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹ΠΌ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ°ΠΌ Π±Π΅Π· Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ пСрСнастройки. ΠœΠ½ΠΎΠ³ΠΎΡ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΠ΅Ρ‚ LLM ΠΌΠΎΡ‰Π½Ρ‹ΠΌ рСсурсом для Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΈΠ½Ρ‚Π΅Π»Π»Π΅ΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½ΠΎΠΉ Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ с ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½Ρ‹Π΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ Π½Ρ‹Π½Π΅ΡˆΠ½ΠΈΡ… Ρ€Π΅Ρ‡Π΅Π²Ρ‹Ρ… Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² содСрТат:

  • ГСнСрация тСкстов Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… Ρ‚ΠΈΠΏΠΎΠ² ΠΈ ΠΌΠ°Π½Π΅Ρ€ — Π·Π°ΠΌΠ΅Ρ‚ΠΊΠΈ, Π½ΠΎΠ²Π΅Π»Π»Ρ‹, рабочая коммуникация
  • ΠŸΠ΅Ρ€Π΅Π²ΠΎΠ΄ ΠΌΠ΅ΠΆΠ΄Ρƒ языками с ΡƒΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅ΠΌ сути ΠΈ контСкста
  • Π Π΅Π·ΡŽΠΌΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ Π΄Π»ΠΈΠ½Π½Ρ‹Ρ… Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚ΠΎΠ² с Π²Ρ‹Π΄Π΅Π»Π΅Π½ΠΈΠ΅ΠΌ Π³Π»Π°Π²Π½Ρ‹Ρ… ΠΈΠ΄Π΅ΠΉ
  • Π Π΅Π°ΠΊΡ†ΠΈΠΈ Π½Π° вопросы Π½Π° Π±Π°Π·Π΅ ΠΏΠ΅Ρ€Π΅Π΄Π°Π½Π½ΠΎΠΉ свСдСний ΠΈΠ»ΠΈ Ρ„ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ…
  • ИсслСдованиС настроСния ΠΈ Π°Ρ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΠΎΠΉ насыщСнности тСкстов
  • Π“Ρ€ΡƒΠΏΠΏΠΈΡ€ΠΎΠ²ΠΊΠ° Ρ„Π°ΠΉΠ»ΠΎΠ² ΠΏΠΎ Ρ€Π°Π·Π΄Π΅Π»Π°ΠΌ ΠΈ ΠΏΡ€Π΅Π΄ΠΌΠ΅Ρ‚Π°ΠΌ
  • Π’Ρ‹Π΄Π΅Π»Π΅Π½ΠΈΠ΅ систСматизированной свСдСний ΠΈΠ· Π½Π΅ΠΎΡ€Π³Π°Π½ΠΈΠ·ΠΎΠ²Π°Π½Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ…

LLM способны Ρ€Π΅Π°Π»ΠΈΠ·ΠΎΠ²Ρ‹Π²Π°Ρ‚ΡŒ расчётныС подсчёты, ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½Ρ‹ΠΉ ΠΊΠΎΠ΄ ΠΈ Ρ‚ΠΎΠ»ΠΊΠΎΠ²Π°Ρ‚ΡŒ Ρ‚Ρ€ΡƒΠ΄Π½Ρ‹Π΅ ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΈ доступным ΠΈΠ·Π»ΠΎΠΆΠ΅Π½ΠΈΠ΅ΠΌ. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΠΏΡ€ΠΎΡΠ²Π»ΡΡŽΡ‚ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΈ рассуТдСния ΠΈ логичСского ΡƒΠΌΠΎΠ·Π°ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΡ. Алгоритмы Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΊ ΡΡ‚ΠΈΠ»ΡŽ Π΄ΠΈΠ°Π»ΠΎΠ³Π° ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ ΠΈ ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°ΡŽΡ‚ Π²ΠΎ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅ контСкст ΠΏΡ€Π΅Π΄ΡˆΠ΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΡ… Ρ„Ρ€Π°Π· Π² бСсСдС.

Блабости LLM

ΠšΡ€ΡƒΠΏΠ½Ρ‹Π΅ Ρ€Π΅Ρ‡Π΅Π²Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ содСрТат сущСствСнныС слабости, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π²Π°ΠΆΠ½ΠΎ ΠΏΠΎΠΌΠ½ΠΈΡ‚ΡŒ ΠΏΡ€ΠΈ фактичСском задСйствовании. БистСмы Π½Π΅ Ρ€Π°ΡΠΏΠΎΠ»Π°Π³Π°ΡŽΡ‚ ΠΏΠΎΠ΄Π»ΠΈΠ½Π½Ρ‹ΠΌ постиТСниСм Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΈ Ρ€Π°Π±ΠΎΡ‚Π°ΡŽΡ‚ вСроятностными ΠΏΠ°Ρ‚Ρ‚Π΅Ρ€Π½Π°ΠΌΠΈ Π² тСкстовых ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. МодСли воспроизводят ΡˆΠ°Π±Π»ΠΎΠ½Ρ‹ Π±Π΅Π· восприятия смысла ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Π“Π°Π»Π»ΡŽΡ†ΠΈΠ½Π°Ρ†ΠΈΠΈ ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ ΡΠ΅Ρ€ΡŒΡ‘Π·Π½ΡƒΡŽ Π²Ρ‹Π·ΠΎΠ² для LLM. Алгоритмы ΡƒΠΌΠ΅ΡŽΡ‚ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ рСалистично Π·Π²ΡƒΡ‡Π°Ρ‰ΡƒΡŽ, Π½ΠΎ Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΎΡˆΠΈΠ±ΠΎΡ‡Π½ΡƒΡŽ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΡƒΠ±Π΅Π΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π²Ρ‹Π΄Π°ΡŽΡ‚ Π²Ρ‹Π΄ΡƒΠΌΠ°Π½Π½Ρ‹Π΅ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ, Π½Π΅ΡΡƒΡ‰Π΅ΡΡ‚Π²ΡƒΡŽΡ‰ΠΈΠ΅ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ ΠΈΠ»ΠΈ Π»ΠΎΠΆΠ½Ρ‹Π΅ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ. Валидация точности созданного ΠΊΠΎΠ½Ρ‚Π΅Π½Ρ‚Π° сохраняСтся Ρ‚Ρ€Π΅Π±ΡƒΠ΅ΠΌΠΎΠΉ.

Π Π°Π±ΠΎΡ‡Π΅Π΅ ΠΏΠΎΠ»Π΅ ΡƒΡ€Π΅Π·Π°Π΅Ρ‚ ΠΌΠ°ΡΡˆΡ‚Π°Π± свСдСний, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ Π·Π° СдинствСнный Ρ‚Π°ΠΊΡ‚. Π‘ΠΎΠ»ΡŒΡˆΠΈΠ½ΡΡ‚Π²ΠΎ LLM Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½ΠΈΡ€ΡƒΡŽΡ‚ с нСсколькими тысячами элСмСнтами. ΠžΠ±ΡŠΡ‘ΠΌΠ½Ρ‹Π΅ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ Ρ‚Ρ€Π΅Π±ΡƒΡŽΡ‚ расчлСнСния Π½Π° куски, Ρ‡Ρ‚ΠΎ Π²Ρ‹Π·Ρ‹Π²Π°Π΅Ρ‚ ΠΊ ΡƒΡ‚Ρ€Π°Ρ‚Π΅ Сдинства ΠΌΠ΅ΠΆΠ΄Ρƒ элСмСнтами ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

БистСмы воспроизводят пСрСкосы, ΠΈΠΌΠ΅ΡŽΡ‰ΠΈΠ΅ΡΡ Π² Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΎΡ‡Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ…. МодСли ΠΌΠΎΠ³ΡƒΡ‚ ΠΊΠΎΠΏΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΡˆΠ°Π±Π»ΠΎΠ½Ρ‹ ΠΈΠ»ΠΈ пристрастныС суТдСния. ΠΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ свСдСний Π»ΠΈΠΌΠΈΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π° Ρ‚ΠΎΡ‡ΠΊΠΎΠΉ Π·Π°Π²Π΅Ρ€ΡˆΠ΅Π½ΠΈΡ обучСния. LLM Π½Π΅ Ρ€Π°ΡΠΏΠΎΠ»Π°Π³Π°ΡŽΡ‚ возмоТности ΠΊ ΠΏΡ€ΠΎΠΈΡΡˆΠ΅ΡΡ‚Π²ΠΈΡΠΌ послС обучСния ΠΈ Π½Π΅ Π°ΠΊΡ‚ΡƒΠ°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ нСзависимо.

ΠŸΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ LLM ΠΈ Ρ€Π΅Ρ‡Π΅Π²Ρ‹Ρ… ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€ Π² практичСских ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ°Ρ…

ΠšΡ€ΡƒΠΏΠ½Ρ‹Π΅ языковыС ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ способы ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ тСкста находят ΠΎΠ±ΡˆΠΈΡ€Π½ΠΎΠ΅ задСйствованиС Π² ΠΊΠΎΠΌΠΌΠ΅Ρ€Ρ†ΠΈΠΈ ΠΈ ΠΎΠ±Ρ‹Π΄Π΅Π½Π½ΠΎΠΉ сущСствовании. Π€ΠΈΡ€ΠΌΡ‹ Π²ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ для усилСния Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ΠΈΠ²Π½ΠΎΡΡ‚ΠΈ ΠΈ ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΡ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΎΠ³ΠΎ взаимодСйствия.

Π’ области обслуТивания элСктронныС ассистСнты ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ запросы ΡŽΠ·Π΅Ρ€ΠΎΠ² Π±Π΅Π· ΠΏΠ΅Ρ€Π΅Ρ€Ρ‹Π²Π°. Π§Π°Ρ‚-Π±ΠΎΡ‚Ρ‹ ΠΎΡ‚Π²Π΅Ρ‡Π°ΡŽΡ‚ Π½Π° ΡˆΠ°Π±Π»ΠΎΠ½Π½Ρ‹Π΅ запросы, Π°ΡΡΠΈΡΡ‚ΠΈΡ€ΡƒΡŽΡ‚ с ΠΎΡ„ΠΎΡ€ΠΌΠ»Π΅Π½ΠΈΠ΅ΠΌ Ρ‚Ρ€Π΅Π±ΠΎΠ²Π°Π½ΠΈΠΉ ΠΈ ΡΠΏΡ€Π°Π²Π»ΡΡŽΡ‚ΡΡ тСхнологичСскими слоТности. МодСли Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ обращСния для выявлСния распространённых вопросов с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ 10 Π»ΡƒΡ‡ΡˆΠΈΡ… ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

ΠšΠΎΠ½Ρ‚Π΅Π½Ρ‚Π½Ρ‹ΠΉ ΠΌΠ°Ρ€ΠΊΠ΅Ρ‚ΠΈΠ½Π³ примСняСт LLM для Π³Π΅Π½Π΅Ρ€Π°Ρ†ΠΈΠΈ тСкстов Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… Π²ΠΈΠ΄ΠΎΠ². БистСмы ΡΠΎΠ·Π΄Π°ΡŽΡ‚ характСристики ΠΈΠ·Π΄Π΅Π»ΠΈΠΉ, ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ для Π±Π»ΠΎΠ³ΠΎΠ², ΠΏΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΠΈ Π² ΠΊΠΎΠΌΠΌΡƒΠ½ΠΈΠΊΠ°Ρ†ΠΈΠΎΠ½Π½Ρ‹Ρ… сСтях. Алгоритмы Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΡƒΡŽΡ‚ ΡΡ‚ΠΈΠ»ΡŒ ΠΏΠΎΠ΄ Π·Π°Π΄Π°Π½Π½ΡƒΡŽ ΠΏΡƒΠ±Π»ΠΈΠΊΡƒ. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·Π°Ρ†ΠΈΡ высвобоТдаСт врСмя экспСртов для ΠΊΡ€Π΅Π°Ρ‚ΠΈΠ²Π½ΠΎΠΉ Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ.

ΠžΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠ΅ систСмы ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ языковыС Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ для кастомизации образования. БистСмы производят кастомизированныС ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹, ΠΎΡ†Π΅Π½ΠΈΠ²Π°ΡŽΡ‚ тСкстовыС задания ΠΈ Π΄Π°ΡŽΡ‚ ΠΎΡ‚Π²Π΅Ρ‚Π½ΡƒΡŽ Ρ„ΠΈΠ΄Π±Π΅ΠΊ. БистСмы Π°ΡΡΠΈΡΡ‚ΠΈΡ€ΡƒΡŽΡ‚ Π² постиТСнии Ρ‡ΡƒΠΆΠΈΡ… языков Ρ‡Π΅Ρ€Π΅Π· Π°ΠΊΡ‚ΠΈΠ²Π½Ρ‹Π΅ бСсСды.

Π›Π΅Ρ‡Π΅Π±Π½Ρ‹Π΅ завСдСния ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ для исслСдования Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Ρ†ΠΈΠΈ ΠΈ получСния Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΠ· досьС Π±ΠΎΠ»Π΅Π·Π½ΠΈ.

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ языковыС ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ Π·Π°Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ Π½ΡƒΠΆΠ½Ρ‹

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ языковыС ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΈ Π·Π°Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ Π½ΡƒΠΆΠ½Ρ‹

Π Π΅Ρ‡Π΅Π²Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ ΡΠ²Π»ΡΡŽΡ‚ΡΡ собой софтвСрныС систСмы, ΠΌΠΎΠ³ΡƒΡ‰ΠΈΠ΅ ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Ρ‚ΡŒ ΠΈ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ тСкст Π½Π° СстСствСнном языкС. Π­Ρ‚ΠΈ систСмы Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ Ρ†Π΅ΠΏΠΎΡ‡ΠΊΠΈ слов, ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ появлСния ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π³ΠΎ ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰Π΅Π³ΠΎ ΠΈ ΡΠΎΠ·Π΄Π°ΡŽΡ‚ ΡΠΎΠ΄Π΅Ρ€ΠΆΠ°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ части тСкста. ΠΡ‹Π½Π΅ΡˆΠ½ΠΈΠ΅ Ρ‚ΠΎΠΏ ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ построСны Π½Π° матСматичСских ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Π°Ρ… ΠΈ искусствСнных сСтях.

ΠšΠ»ΡŽΡ‡Π΅Π²Π°Ρ Ρ†Π΅Π»ΡŒ Ρ‚Π°ΠΊΠΈΡ… систСм Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ΡΡ Π² ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠΈ контСкста ΠΈ смысловых ΠΎΡ‚Π½ΠΎΡˆΠ΅Π½ΠΈΠΉ ΠΌΠ΅ΠΆΠ΄Ρƒ словами. БистСмы учатся ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡ‚ΡŒ ΠΏΠ°Ρ‚Ρ‚Π΅Ρ€Π½Ρ‹ Π² Π±ΠΎΠ»ΡŒΡˆΠΈΡ… ΠΎΠ±ΡŠΡ‘ΠΌΠ°Ρ… тСкстовых Π΄Π°Π½Π½Ρ‹Ρ…. ПослС обучСния прилоТСния Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡŽΡ‚ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ: Ρ€Π΅Π°Π³ΠΈΡ€ΡƒΡŽΡ‚ Π½Π° вопросы, пСрСводят тСксты, Ρ€Π΅Π·ΡŽΠΌΠΈΡ€ΡƒΡŽΡ‚ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Ρ‹.

ЀактичСскоС ΡƒΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΠ΅ ΠΎΡ…Π²Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ массу областСй. Π€ΠΈΡ€ΠΌΡ‹ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ для ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ обслуТивания ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ Ρ‡Π΅Ρ€Π΅Π· Ρ‡Π°Ρ‚-Π±ΠΎΡ‚ΠΎΠ². Π Π΅Π΄Π°ΠΊΡ†ΠΈΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ инструмСнты для ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠΈ набросков. Π Π°Π·Ρ€Π°Π±ΠΎΡ‚Ρ‡ΠΈΠΊΠΈ Π²ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Π² поисковики для ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΡ Π²Ρ‹Π΄Π°Ρ‡ΠΈ. Π£Ρ‡Π΅Π±Π½Ρ‹Π΅ рСсурсы ΡΠΎΠ·Π΄Π°ΡŽΡ‚ Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ 10 Π»ΡƒΡ‡ΡˆΠΈΡ… ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

ВСхнология ΠΎΠ±Ρ€Π΅Ρ‚Π°Π΅Ρ‚ задСйствованиС Π² Π·Π΄Ρ€Π°Π²ΠΎΠΎΡ…Ρ€Π°Π½Π΅Π½ΠΈΠΈ, ΠΏΡ€Π°Π²Π΅, ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΡΠΊΠΈΡ… изысканиях ΠΈ ΠΊΡ€Π΅Π°Ρ‚ΠΈΠ²Π½Ρ‹Ρ… сфСрах.

ΠžΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ LLM (Large Language Model): Ρ‡Π΅ΠΌ ΠΎΠ½ΠΈ Ρ€Π°Π·Π»ΠΈΡ‡Π°ΡŽΡ‚ΡΡ ΠΎΡ‚ ΠΎΠ±Ρ‹Ρ‡Π½Ρ‹Ρ… Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ²

LLM трактуСтся ΠΊΠ°ΠΊ Large Language Model — ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Π°Ρ языковая модСль. Π’Π΅Ρ€ΠΌΠΈΠ½ ΡƒΠΊΠ°Π·Ρ‹Π²Π°Π΅Ρ‚ Π½Π° Ρ€Π°Π·ΠΌΠ΅Ρ€ систСмы, опрСдСляСмый количСством характСристик. ΠŸΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой настраиваСмыС элСмСнты искусствСнной сСти, Π·Π°Π΄Π°ΡŽΡ‰ΠΈΠ΅ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΏΡ€ΠΈ ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ тСкста.

ΠžΠ±Ρ‹Ρ‡Π½Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Π²ΠΌΠ΅Ρ‰Π°ΡŽΡ‚ ΠΌΠΈΠ»Π»ΠΈΠΎΠ½Ρ‹ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΈ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‚ΡΡ Π½Π° ΡƒΡ€Π΅Π·Π°Π½Π½Ρ‹Ρ… ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π°Ρ…. Π’Π°ΠΊΠΈΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ Ρ€Π΅ΡˆΠ°ΡŽΡ‚ с спСцифичСскими опСрациями: Π³Ρ€ΡƒΠΏΠΏΠΈΡ€ΠΎΠ²ΠΊΠΎΠΉ тСкстов, ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠ΅Π½ΠΈΠ΅ΠΌ сущностСй, ΠΈΠ·ΡƒΡ‡Π΅Π½ΠΈΠ΅ΠΌ Ρ‚ΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ. ВозмоТности стандартных систСм Π·Π°ΠΌΠΊΠ½ΡƒΡ‚Ρ‹ спСцифичСской сфСрой.

ΠœΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ ΠΎΡ…Π²Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Ρ‹ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΈ учатся Π½Π° ΠΊΠΎΠ»ΠΎΡΡΠ°Π»ΡŒΠ½Ρ‹Ρ… тСкстовых коллСкциях. GPT-3 Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ 175 ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄ΠΎΠ² ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ², Ρ‡Ρ‚ΠΎ Π΄Π°Ρ‘Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹ΠΉ Π½Π°Π±ΠΎΡ€ Π·Π°Π΄Π°Ρ‡ Π±Π΅Π· Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ настройки. LLM ΠΏΡ€ΠΎΡΠ²Π»ΡΡŽΡ‚ ΠΏΠΎΡ‚Π΅Π½Ρ†ΠΈΠ°Π» ΠΊ объСдинСнию свСдСний ΠΌΠ΅ΠΆΠ΄Ρƒ Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

ОсновноС ΠΎΡ‚Π»ΠΈΡ‡ΠΈΠ΅ выраТаСтся Π² ΡƒΠ½ΠΈΠ²Π΅Ρ€ΡΠ°Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ. Π‘Ρ‚Π°Π½Π΄Π°Ρ€Ρ‚Π½Ρ‹Π΅ систСмы demand дообучСния для ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΎΠΉ Π·Π°Π΄Π°Ρ‡ΠΈ. ΠšΡ€ΡƒΠΏΠ½Ρ‹Π΅ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΠΏΠΎΠ΄ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ Ρ‡Π΅Ρ€Π΅Π· запросы — тСкстовыС Π΄ΠΈΡ€Π΅ΠΊΡ‚ΠΈΠ²Ρ‹. ΠžΠ±ΡŠΡ‘ΠΌ Π³Π°Ρ€Π°Π½Ρ‚ΠΈΡ€ΡƒΠ΅Ρ‚ качСствСнный ΠΏΡ€ΠΎΡ€Ρ‹Π² Π² ΠΏΠΎΠ½ΠΈΠΌΠ°Π½ΠΈΠΈ контСкста ΠΈ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠΈ.

Из Ρ‡Π΅Π³ΠΎ складываСтся LLM: Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Ρ‹, ΠΏΠ΅Ρ€Π΅Ρ‡Π΅Π½ΡŒ ΠΈ ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈ

Π€Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Ρ‹ Π²Ρ‹ΡΡ‚ΡƒΠΏΠ°ΡŽΡ‚ Π±Π°Π·ΠΎΠ²Ρ‹ΠΌΠΈ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Π°ΠΌΠΈ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ тСкста Π² Ρ€Π΅Ρ‡Π΅Π²Ρ‹Ρ… систСмах. МодСль сСгмСнтируСт исходный тСкст Π½Π° куски — ΠΈΠ·ΠΎΠ»ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Π΅ слова, части слов ΠΈΠ»ΠΈ символы. Один Π΅Π΄ΠΈΠ½ΠΈΡ†Π° ΠΌΠΎΠΆΠ΅Ρ‚ ΡΠΎΠΎΡ‚Π²Π΅Ρ‚ΡΡ‚Π²ΠΎΠ²Π°Ρ‚ΡŒ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎΠΌΡƒ слову, части ΠΈΠ»ΠΈ Π·Π½Π°ΠΊΡƒ прСпинания. ΠŸΡ€ΠΎΡ†Π΅ΡΡ сСгмСнтации зовётся Ρ‚ΠΎΠΊΠ΅Π½ΠΈΠ·Π°Ρ†ΠΈΠ΅ΠΉ.

ЛСксикон систСмы содСрТит всС доступныС Π΅Π΄ΠΈΠ½ΠΈΡ†Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ Π² состоянии ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΡ†ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΈ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ. Π Π°Π·ΠΌΠ΅Ρ€ лСксикона колСблСтся ΠΎΡ‚ дСсятков Π΄ΠΎ сотСн тысяч элСмСнтов. ΠšΠ°ΠΆΠ΄ΠΎΠΌΡƒ Ρ‚ΠΎΠΊΠ΅Π½Ρƒ выдСляСтся ΡƒΠ½ΠΈΠΊΠ°Π»ΡŒΠ½Ρ‹ΠΉ numeric ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ„ΠΈΠΊΠ°Ρ‚ΠΎΡ€. БистСма взаимодСйствуСт с количСствСнными отобраТСниями, Π° Π½Π΅ с исходным тСкстом. БостояниС словаря влияСт Π½Π° ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚ΠΊΡƒ ΠΌΠ°Π»ΠΎΡƒΠΏΠΎΡ‚Ρ€Π΅Π±ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… слов ΠΈ узкоспСциализированной ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

ΠŸΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Π΅ ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой количСствСнныС вСса связСй ΠΌΠ΅ΠΆΠ΄Ρƒ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚Π°ΠΌΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ структуры. Π­Ρ‚ΠΈ значСния ΡƒΡΡ‚Π°Π½Π°Π²Π»ΠΈΠ²Π°ΡŽΡ‚, ΠΊΠ°ΠΊ систСма ΠΏΠ΅Ρ€Π΅Π²ΠΎΠ΄ΠΈΡ‚ Π½Π°Ρ‡Π°Π»ΡŒΠ½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅ Π² Π²Ρ‹Π²ΠΎΠ΄Ρ‹. Π’ Ρ‚Π΅Ρ‡Π΅Π½ΠΈΠΈ ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠΈ ΠΏΠΎΠΊΠ°Π·Π°Ρ‚Π΅Π»ΠΈ ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚ΠΈΡ€ΡƒΡŽΡ‚ΡΡ для сниТСния нСточностСй. ΠΠΊΡ‚ΡƒΠ°Π»ΡŒΠ½Ρ‹Π΅ LLM ΠΎΡ…Π²Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ дСсятки ΠΈΠ»ΠΈ сотни ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄ΠΎΠ² ΠΏΠ΅Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ…, разнСсённых ΠΏΠΎ совокупности ΡƒΡ€ΠΎΠ²Π½Π΅ΠΉ. ΠšΠΎΠ»ΠΈΡ‡Π΅ΡΡ‚Π²ΠΎ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² соотносится с расчётными Π½ΡƒΠΆΠ΄Π°ΠΌΠΈ ΠΈ качСством ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Как Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ LLM: Π½Π°Π±ΠΎΡ€Ρ‹ Π΄Π°Π½Π½Ρ‹Ρ…, ΠΏΡ€ΠΎΠ³Π½ΠΎΠ·ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π³ΠΎ слова ΠΈ Ρ€Π°Π·ΠΌΠ΅Ρ€Ρ‹ ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ

ΠžΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΌΠ°ΡΡˆΡ‚Π°Π±Π½Ρ‹Ρ… лингвистичСских ΠΌΠΎΠ΄Π΅Π»Π΅ΠΉ стартуСт со формирования датасСтов — массивных собраний тСкстов. ΠœΠ°ΡΡΠΈΠ²Ρ‹ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ Π²ΠΊΠ»ΡŽΡ‡Π°ΡŽΡ‚ ΠΊΠ½ΠΈΠ³ΠΈ, ΠΎΡ‡Π΅Ρ€ΠΊΠΈ, Π²Π΅Π±-страницы, акадСмичСскиС издания. ΠœΠ°ΡΡˆΡ‚Π°Π± ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ² для настройки оцСниваСтся Ρ‚Π΅Ρ€Π°Π±Π°ΠΉΡ‚Π°ΠΌΠΈ. ΠœΠ½ΠΎΠ³ΠΎΠΎΠ±Ρ€Π°Π·ΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Ρ… Π΄Π°Ρ‘Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ систСмС ΠΈΠ·ΡƒΡ‡Π°Ρ‚ΡŒ всСвозмоТныС стили тСкста.

Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½Ρ‹ΠΉ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏ настройки базируСтся Π½Π° ΡƒΠ³Π°Π΄Ρ‹Π²Π°Π½ΠΈΠΈ ΠΎΡ‡Π΅Ρ€Π΅Π΄Π½ΠΎΠ³ΠΎ элСмСнта. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ воспринимаСт Ρ†Π΅ΠΏΠΎΡ‡ΠΊΡƒ слов ΠΈ пытаСтся ΠΏΡ€Π΅Π΄ΡΠΊΠ°Π·Π°Ρ‚ΡŒ, ΠΊΠ°ΠΊΠΎΠ΅ слово появится ΠΏΠΎΡ‚ΠΎΠΌ. МодСль сравниваСт Π΄ΠΎΠ³Π°Π΄ΠΊΡƒ с Π΄Π΅ΠΉΡΡ‚Π²ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ Ρ€Π°Π·Π²ΠΈΡ‚ΠΈΠ΅ΠΌ ΠΈ измСняСт характСристики для ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ нСточности. ΠžΠΏΠ΅Ρ€Π°Ρ†ΠΈΡ возобновляСтся ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Ρ‹ Ρ€Π°Π· Π½Π° Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Π°Ρ… 10 Π»ΡƒΡ‡ΡˆΠΈΡ… ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

Π Π°Π·ΠΌΠ΅Ρ€Ρ‹ вычислСний для Ρ‚Ρ€Π΅Π½ΠΈΡ€ΠΎΠ²ΠΊΠΈ LLM Π²ΠΏΠ΅Ρ‡Π°Ρ‚Π»ΡΡŽΡ‚:

  • ΠŸΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠ° Ρ‚Ρ€Π΅Π±ΡƒΠ΅Ρ‚ тысяч Π²Ρ‹Π΄Π΅Π»Π΅Π½Π½Ρ‹Ρ… GPU процСссоров
  • ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ ΠΎΡ‚Π½ΠΈΠΌΠ°Π΅Ρ‚ Π½Π΅Π΄Π΅Π»ΠΈ ΠΈΠ»ΠΈ мСсяцы Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠΉ Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ
  • Π­Π½Π΅Ρ€Π³ΠΎΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΠ΅ эквивалСнтно Π΅ΠΆΠ΅Π³ΠΎΠ΄Π½ΠΎΠΌΡƒ ΠΏΠΎΡ‚Ρ€Π΅Π±Π»Π΅Π½ΠΈΡŽ ΠΊΠΎΠΌΠΏΠ°ΠΊΡ‚Π½ΠΎΠ³ΠΎ насСлённого ΠΏΡƒΠ½ΠΊΡ‚Π°
  • Π¦Π΅Π½Π° обучСния достигаСт дСсятков ΠΌΠΈΠ»Π»ΠΈΠΎΠ½ΠΎΠ² Π΄ΠΎΠ»Π»Π°Ρ€ΠΎΠ²

ΠžΡ€Π³Π°Π½ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΈΠ½Π²Π΅ΡΡ‚ΠΈΡ€ΡƒΡŽΡ‚ большиС срСдства Π² созданиС Π²Ρ‹Ρ‡ΠΈΡΠ»ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ структуры.

Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π° трансформСров

ВрансформСры ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой построСниС искусствСнных сСтСй, ΠΎΠΊΠ°Π·Π°Π²ΡˆΡƒΡŽΡΡ основой ΠΏΠ΅Ρ€Π΅Π΄ΠΎΠ²Ρ‹Ρ… Π±ΠΎΠ»ΡŒΡˆΠΈΡ… Ρ€Π΅Ρ‡Π΅Π²Ρ‹Ρ… Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ². ИдСя Π±Ρ‹Π»Π° прСдставлСна Π² 2017 Π³ΠΎΠ΄Ρƒ ΡƒΡ‡Ρ‘Π½Ρ‹ΠΌΠΈ Google. Π‘Ρ‚Ρ€ΡƒΠΊΡ‚ΡƒΡ€Π° Π·Π°ΠΌΠ΅Π½ΠΈΠ»Π° рСкурсивныС сСти ΠΈ создала сущСствСнный ΠΏΡ€ΠΎΡ€Ρ‹Π² Π² ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Π¦Π΅Π½Ρ‚Ρ€Π°Π»ΡŒΠ½Ρ‹ΠΉ ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰Π°Ρ трансформСров — ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏ ΠΊΠΎΠ½Ρ†Π΅Π½Ρ‚Ρ€Π°Ρ†ΠΈΠΈ. Π­Ρ‚ΠΎΡ‚ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏ Π΄Π°Ρ‘Ρ‚ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡƒ Π²Ρ‹ΡΠ²Π»ΡΡ‚ΡŒ Π·Π½Π°Ρ‡Π΅Π½ΠΈΠ΅ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ слова Π² Ρ€Π°ΠΌΠΊΠ°Ρ… Ρ†Π΅Π»ΠΎΠΉ ΠΏΠΎΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ. Алгоритм ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ взаимосвязи ΠΌΠ΅ΠΆΠ΄Ρƒ всСми Π΅Π΄ΠΈΠ½ΠΈΡ†Π°ΠΌΠΈ ΠΎΠ΄Π½ΠΎΠ²Ρ€Π΅ΠΌΠ΅Π½Π½ΠΎ, Π° Π½Π΅ ΠΏΠΎΠΎΡ‡Π΅Ρ€Ρ‘Π΄Π½ΠΎ. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌ рассчитываСт вСса ваТности для ΠΊΠ°ΠΆΠ΄ΠΎΠΉ Π΄Π²ΠΎΠΉΠΊΠΈ слов.

ВрансформСр построСн ΠΈΠ· совокупности ΡƒΡ€ΠΎΠ²Π½Π΅ΠΉ, ΠΊΠ°ΠΆΠ΄Ρ‹ΠΉ ΠΈΠ· ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Ρ… содСрТит элСмСнты внимания ΠΈ Π½Π΅Ρ€Π²Π½Ρ‹Π΅ сСти. БвСдСния пСрСмСщаСтся Ρ‡Π΅Ρ€Π΅Π· ярусы ΠΏΠΎΠΎΡ‡Π΅Ρ€Ρ‘Π΄Π½ΠΎ, дополняясь Π½Π° ΠΊΠ°ΠΆΠ΄ΠΎΠΌ этапС. АрхитСктура содСрТит систСмы ΡƒΠ½ΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΠΈ для устойчивости ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠΈ.

Бильная сторона трансформСров кроСтся Π² синхронизации вычислСний. Алгоритм ΠΎΠ±Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°Π΅Ρ‚ всС Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Ρ‹ ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»ΡŒΠ½ΠΎ, Ρ‡Ρ‚ΠΎ форсируСт ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΏΠΎ контрасту с Ρ€Π΅ΠΊΡƒΡ€Ρ€Π΅Π½Ρ‚Π½Ρ‹ΠΌΠΈ систСмами. ΠΠ΄Π°ΠΏΡ‚ΠΈΠ²Π½ΠΎΡΡ‚ΡŒ построСния позволяСт ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ систСмы с ΠΌΠΈΠ»Π»ΠΈΠ°Ρ€Π΄Π°ΠΌΠΈ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² для осущСствлСния нСпростых ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΉ Π°Π½Π°Π»ΠΈΠ·Π° ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

Π§Ρ‚ΠΎ Ρ‚Π°ΠΊΠΎΠ΅ Ρ€Π΅Ρ‡Π΅Π²Ρ‹Π΅ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹

Π Π΅Ρ‡Π΅Π²Ρ‹Π΅ способы ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ собой комплСкс ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠΎΠ² ΠΈ дСйствий для ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ письмСнной ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. Π­Ρ‚ΠΈ способы Ρ€Π΅Π°Π»ΠΈΠ·ΡƒΡŽΡ‚ Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹Π΅ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ: Ρ‚ΠΎΠΊΠ΅Π½ΠΈΠ·Π°Ρ†ΠΈΡŽ, Π»Π΅ΠΌΠΌΠ°Ρ‚ΠΈΠ·Π°Ρ†ΠΈΡŽ, грамматичСский Ρ€Π°Π·Π±ΠΎΡ€, выявлСниС элСмСнтов. ΠŸΠΎΠ΄Ρ…ΠΎΠ΄Ρ‹ ΠΈΠ·ΠΌΠ΅Π½ΡΡŽΡ‚ΡΡ ΠΎΡ‚ нСслоТных Π½ΠΎΡ€ΠΌ Π΄ΠΎ слоТных статистичСских Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ².

Π’Ρ€Π°Π΄ΠΈΡ†ΠΈΠΎΠ½Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ основаны Π½Π° лингвистичСских ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΠ°Ρ… ΠΈ словарях. РСгулярныС конструкции ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‚ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡ‚ΡŒ ΠΎΠ±Ρ€Π°Π·Ρ†Ρ‹ Π² тСкстС. Алгоритмы стСмминга ΠΎΠ±Ρ€Π΅Π·Π°ΡŽΡ‚ окончания слов для выдСлСния корня. БинтаксичСскиС парсСры Π²Ρ‹ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ Π³Ρ€Π°Ρ„Ρ‹ взаимосвязСй ΠΌΠ΅ΠΆΠ΄Ρƒ словами. Π’Π°ΠΊΠΈΠ΅ ΠΏΡ€ΠΈΡ‘ΠΌΡ‹ demand ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠΉ ΠΊΠ°Π»ΠΈΠ±Ρ€ΠΎΠ²ΠΊΠΈ для ΠΈΠ½Π΄ΠΈΠ²ΠΈΠ΄ΡƒΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ языка.

ΠŸΠ΅Ρ€Π΅Π΄ΠΎΠ²Ρ‹Π΅ лингвистичСскиС ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Ρ‹ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡŽΡ‚ алгоритмичСскоС ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΡƒ ΠΈ искусствСнныС структуры. ВСроятностныС Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Π½Π°ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ Π½Π° ΠΏΠΎΠΌΠ΅Ρ‡Π΅Π½Π½Ρ‹Ρ… свСдСниях ΠΈ Π±Π΅Π· участия Ρ‡Π΅Π»ΠΎΠ²Π΅ΠΊΠ° находят закономСрности. Π’Π΅ΠΊΡ‚ΠΎΡ€Π½Ρ‹Π΅ отобраТСния слов ΠΊΠΎΠ΄ΠΈΡ€ΡƒΡŽΡ‚ сСмантичСскоС ΠΏΠΎΠ΄ΠΎΠ±ΠΈΠ΅ ΠΌΠ΅ΠΆΠ΄Ρƒ 10 Π»ΡƒΡ‡ΡˆΠΈΡ… ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½. ΠŸΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Ρ‹ классификации ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΡΡŽΡ‚ ΠΏΡ€Π΅Π΄ΠΌΠ΅Ρ‚ тСкста ΠΈΠ»ΠΈ окраску.

ЛингвистичСскиС ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Ρ‹ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΡŽΡ‚ базис для Ρ€Π°Π±ΠΎΡ‚Ρ‹ Π±ΠΎΠ»ΡŒΡˆΠΈΡ… систСм. LLM Π²ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ мноТСство способов Π² Ρ†Π΅Π»ΠΎΡΡ‚Π½ΡƒΡŽ систСму. ВрансформСры ΠΎΠ±ΡŠΠ΅Π΄ΠΈΠ½ΡΡŽΡ‚ прСимущСства Ρ€Π°Π·Π½ΠΎΠΎΠ±Ρ€Π°Π·Π½Ρ‹Ρ… ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠ² ΠΊ ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅.

Π€ΡƒΠ½ΠΊΡ†ΠΈΠΈ LLM

Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ языковыС Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΠ²Π°ΡŽΡ‚ ΡˆΠΈΡ€ΠΎΠΊΠΈΠΉ спСктр способностСй Π² взаимодСйствии с тСкстом. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΠΏΠΎΠ΄ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ΡΡ ΠΊ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹ΠΌ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ°ΠΌ Π±Π΅Π· Π΄ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ пСрСнастройки. ΠœΠ½ΠΎΠ³ΠΎΡ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΠ΅Ρ‚ LLM ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΌ ΠΌΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΠΎΠΌ для Π°Π²Ρ‚ΠΎΠΌΠ°Ρ‚ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΊΠΎΠ³Π½ΠΈΡ‚ΠΈΠ²Π½ΠΎΠΉ Π΄Π΅ΡΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ с ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

ΠšΠ»ΡŽΡ‡Π΅Π²Ρ‹Π΅ возмоТности Π½Ρ‹Π½Π΅ΡˆΠ½ΠΈΡ… Ρ€Π΅Ρ‡Π΅Π²Ρ‹Ρ… Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΠΎΠ² Π²ΠΌΠ΅Ρ‰Π°ΡŽΡ‚:

  • Π€ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ тСкстов Ρ€Π°Π·Π½Ρ‹Ρ… Ρ‚ΠΈΠΏΠΎΠ² ΠΈ ΠΌΠ°Π½Π΅Ρ€ — ΠΏΡƒΠ±Π»ΠΈΠΊΠ°Ρ†ΠΈΠΈ, рассказы, ΠΎΡ„ΠΈΡ†ΠΈΠ°Π»ΡŒΠ½Π°Ρ пСрСписка
  • ΠŸΠ΅Ρ€Π΅Π²ΠΎΠ΄ ΠΌΠ΅ΠΆΠ΄Ρƒ языками с ΡƒΠ΄Π΅Ρ€ΠΆΠ°Π½ΠΈΠ΅ΠΌ смысла ΠΈ контСкста
  • Π Π΅Π·ΡŽΠΌΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΎΠ±ΡŠΡ‘ΠΌΠ½Ρ‹Ρ… ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ² с ΠΈΠ·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΠ΅ΠΌ ΠΊΠ»ΡŽΡ‡Π΅Π²Ρ‹Ρ… ΠΊΠΎΠ½Ρ†Π΅ΠΏΡ†ΠΈΠΉ
  • ΠžΡ‚ΠΊΠ»ΠΈΠΊΠΈ Π½Π° вопросы Π½Π° основании прСдставлСнной ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ² ΠΈΠ»ΠΈ ΠΎΠ±Ρ‰ΠΈΡ… Π·Π½Π°Π½ΠΈΠΉ
  • ИсслСдованиС настроСния ΠΈ Π°Ρ„Ρ„Π΅ΠΊΡ‚ΠΈΠ²Π½ΠΎΠΉ Ρ…Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€Π° тСкстов
  • Π“Ρ€ΡƒΠΏΠΏΠΈΡ€ΠΎΠ²ΠΊΠ° ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ² ΠΏΠΎ Ρ€Π°Π·Π΄Π΅Π»Π°ΠΌ ΠΈ ΡΡŽΠΆΠ΅Ρ‚Π°ΠΌ
  • Π˜Π·Π²Π»Π΅Ρ‡Π΅Π½ΠΈΠ΅ ΠΎΡ€Π³Π°Π½ΠΈΠ·ΠΎΠ²Π°Π½Π½ΠΎΠΉ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΠ· нСструктурированных источников

LLM способны ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ матСматичСскиС подсчёты, ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ софтвСрный ΠΊΠΎΠ΄ ΠΈ Ρ‚ΠΎΠ»ΠΊΠΎΠ²Π°Ρ‚ΡŒ Ρ‚Ρ€ΡƒΠ΄Π½Ρ‹Π΅ полоТСния доступным ΠΈΠ·Π»ΠΎΠΆΠ΅Π½ΠΈΠ΅ΠΌ. Алгоритмы Π΄Π΅ΠΌΠΎΠ½ΡΡ‚Ρ€ΠΈΡ€ΡƒΡŽΡ‚ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΈ Π°Π½Π°Π»ΠΈΠ·Π° ΠΈ логичСского Π΄Π΅Π΄ΡƒΠΊΡ†ΠΈΠΈ. Алгоритмы Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΊ ΠΌΠ°Π½Π΅Ρ€Π΅ ΠΊΠΎΠΌΠΌΡƒΠ½ΠΈΠΊΠ°Ρ†ΠΈΠΈ ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Ρ ΠΈ Ρ€Π°ΡΡΠΌΠ°Ρ‚Ρ€ΠΈΠ²Π°ΡŽΡ‚ контСкст ΠΏΡ€ΠΎΡˆΠ»Ρ‹Ρ… сообщСний Π² ΠΎΠ±Ρ‰Π΅Π½ΠΈΠΈ.

НСдостатки LLM

Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ языковыС систСмы содСрТат Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ нСдостатки, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ сущСствСнно ΠΏΠΎΠΌΠ½ΠΈΡ‚ΡŒ ΠΏΡ€ΠΈ Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠΌ использовании. БистСмы Π½Π΅ Ρ€Π°ΡΠΏΠΎΠ»Π°Π³Π°ΡŽΡ‚ Ρ€Π΅Π°Π»ΡŒΠ½Ρ‹ΠΌ восприятиСм всСлСнной ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ статистичСскими ΠΏΡ€Π°Π²ΠΈΠ»Π°ΠΌΠΈ Π² словСсных Π΄Π°Π½Π½Ρ‹Ρ…. МодСли воспроизводят ΡˆΠ°Π±Π»ΠΎΠ½Ρ‹ Π±Π΅Π· восприятия содСрТания ΠΎΠ½Π»Π°ΠΉΠ½ ΠΊΠ°Π·ΠΈΠ½ΠΎ.

Вымыслы ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‚ ΡΠ΅Ρ€ΡŒΡ‘Π·Π½ΡƒΡŽ Π²Ρ‹Π·ΠΎΠ² для LLM. БистСмы Π² состоянии ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚ΡŒ ΠΏΡ€Π°Π²Π΄ΠΎΠΏΠΎΠ΄ΠΎΠ±Π½ΠΎ Π·Π²ΡƒΡ‡Π°Ρ‰ΡƒΡŽ, Π½ΠΎ Ρ€Π΅Π°Π»ΡŒΠ½ΠΎ Π½Π΅ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΡƒΡŽ Π΄Π°Π½Π½Ρ‹Π΅. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΡƒΠ²Π΅Ρ€Π΅Π½Π½ΠΎ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²Π»ΡΡŽΡ‚ Ρ„ΠΈΠΊΡ‚ΠΈΠ²Π½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅, Ρ„ΠΈΠΊΡ‚ΠΈΠ²Π½Ρ‹Π΅ рСсурсы ΠΈΠ»ΠΈ ΠΎΡˆΠΈΠ±ΠΎΡ‡Π½Ρ‹Π΅ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ. ΠŸΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° правдивости созданного ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Π° ΠΏΡ€ΠΎΠ΄ΠΎΠ»ΠΆΠ°Π΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΠΎΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ.

БмысловоС ΠΏΠΎΠ»Π΅ суТаСт Ρ€Π°Π·ΠΌΠ΅Ρ€ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ систСма Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΠ΅Ρ‚ Π·Π° ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹ΠΉ Ρ†ΠΈΠΊΠ». Π‘ΠΎΠ»ΡŒΡˆΠΈΠ½ΡΡ‚Π²ΠΎ LLM Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΎΠ½ΠΈΡ€ΡƒΡŽΡ‚ с нСсколькими тысячами Ρ‚ΠΎΠΊΠ΅Π½ΠΎΠ². ΠŸΡ€ΠΎΡΡ‚Ρ€Π°Π½Π½Ρ‹Π΅ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹ ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»Π°Π³Π°ΡŽΡ‚ разбиСния Π½Π° куски, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈΠ²ΠΎΠ΄ΠΈΡ‚ ΠΊ ΠΈΡΡ‡Π΅Π·Π½ΠΎΠ²Π΅Π½ΠΈΡŽ цСлостности ΠΌΠ΅ΠΆΠ΄Ρƒ частями ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

МодСли ΠΎΡ‚Ρ€Π°ΠΆΠ°ΡŽΡ‚ смСщСния, ΠΈΠΌΠ΅ΡŽΡ‰ΠΈΠ΅ΡΡ Π² ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ. БистСмы ΡƒΠΌΠ΅ΡŽΡ‚ ΠΏΠΎΠ²Ρ‚ΠΎΡ€ΡΡ‚ΡŒ прСдрассудки ΠΈΠ»ΠΈ Π½Π΅ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ΠΈΠ²Π½Ρ‹Π΅ высказывания. Π Π΅Π»Π΅Π²Π°Π½Ρ‚Π½ΠΎΡΡ‚ΡŒ Π΄Π°Π½Π½Ρ‹Ρ… ΡƒΡ€Π΅Π·Π°Π½Π° Ρ‚ΠΎΡ‡ΠΊΠΎΠΉ Π·Π°Π²Π΅Ρ€ΡˆΠ΅Π½ΠΈΡ настройки. LLM Π½Π΅ Π²Π»Π°Π΄Π΅ΡŽΡ‚ ΠΏΡ€Π°Π²Π° ΠΊ ΠΏΡ€ΠΎΠΈΡΡˆΠ΅ΡΡ‚Π²ΠΈΡΠΌ послС ΠΏΠΎΠ΄Π³ΠΎΡ‚ΠΎΠ²ΠΊΠΈ ΠΈ Π½Π΅ ΠΎΡΠ²Π΅ΠΆΠ°ΡŽΡ‚ ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ нСзависимо.

ИспользованиС LLM ΠΈ языковых способов Π² ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½Ρ‹Ρ… функциях

Π‘ΠΎΠ»ΡŒΡˆΠΈΠ΅ Ρ€Π΅Ρ‡Π΅Π²Ρ‹Π΅ систСмы ΠΈ Π°Π»Π³ΠΎΡ€ΠΈΡ‚ΠΌΡ‹ Π°Π½Π°Π»ΠΈΠ·Π° тСкста ΠΏΠΎΠ»ΡƒΡ‡Π°ΡŽΡ‚ ΡˆΠΈΡ€ΠΎΠΊΠΎΠ΅ задСйствованиС Π² Π΄Π΅Π»ΠΎΠ²ΠΎΠΉ сфСрС ΠΈ Π΅ΠΆΠ΅Π΄Π½Π΅Π²Π½ΠΎΠΉ ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅. Π€ΠΈΡ€ΠΌΡ‹ Π²ΡΡ‚Ρ€Π°ΠΈΠ²Π°ΡŽΡ‚ Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ для роста продуктивности ΠΈ ΠΏΠΎΠ²Ρ‹ΡˆΠ΅Π½ΠΈΡ клиСнтского впСчатлСния.

Π’ области обслуТивания Ρ†ΠΈΡ„Ρ€ΠΎΠ²Ρ‹Π΅ Π±ΠΎΡ‚Ρ‹ ΠΏΠ΅Ρ€Π΅Ρ€Π°Π±Π°Ρ‚Ρ‹Π²Π°ΡŽΡ‚ обращСния ΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚Π΅Π»Π΅ΠΉ Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎ. Π§Π°Ρ‚-Π±ΠΎΡ‚Ρ‹ ΠΎΡ‚Π²Π΅Ρ‡Π°ΡŽΡ‚ Π½Π° Ρ‚ΠΈΠΏΠΎΠ²Ρ‹Π΅ вопросы, ΡΠΎΠ΄Π΅ΠΉΡΡ‚Π²ΡƒΡŽΡ‚ с рСгистрациСй Ρ‚Ρ€Π΅Π±ΠΎΠ²Π°Π½ΠΈΠΉ ΠΈ ΡƒΡΡ‚Ρ€Π°Π½ΡΡŽΡ‚ тСхничСскиС трудности. Алгоритмы Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ обращСния для обнаруТСния распространённых ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ 10 Π»ΡƒΡ‡ΡˆΠΈΡ… ΠΊΠ°Π·ΠΈΠ½ΠΎ ΠΎΠ½Π»Π°ΠΉΠ½.

ΠšΠΎΠ½Ρ‚Π΅Π½Ρ‚Π½Ρ‹ΠΉ ΠΌΠ°Ρ€ΠΊΠ΅Ρ‚ΠΈΠ½Π³ эксплуатируСт LLM для формирования тСкстов Ρ€Π°Π·Π½Ρ‹Ρ… Ρ‚ΠΈΠΏΠΎΠ². ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ Π³Π΅Π½Π΅Ρ€ΠΈΡ€ΡƒΡŽΡ‚ характСристики ΠΈΠ·Π΄Π΅Π»ΠΈΠΉ, ΡΡ‚Π°Ρ‚ΡŒΠΈ для Π±Π»ΠΎΠ³ΠΎΠ², посты Π² ΠΊΠΎΠΌΠΌΡƒΠ½ΠΈΠΊΠ°Ρ†ΠΈΠΎΠ½Π½Ρ‹Ρ… сСтях. МодСли Π°Π΄Π°ΠΏΡ‚ΠΈΡ€ΡƒΡŽΡ‚ ΡΡ‚ΠΈΠ»ΡŒ ΠΏΠΎΠ΄ Π½ΡƒΠΆΠ½ΡƒΡŽ Π³Ρ€ΡƒΠΏΠΏΡƒ. ΠžΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΡ освобоТдаСт ΠΏΠ΅Ρ€ΠΈΠΎΠ΄ профСссионалов для ΡΠΎΠ·ΠΈΠ΄Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ Π·Π°Π΄Π°Ρ‡.

ΠžΠ±Ρ€Π°Π·ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ рСсурсы ΡΠΊΡΠΏΠ»ΡƒΠ°Ρ‚ΠΈΡ€ΡƒΡŽΡ‚ языковыС Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ для пСрсонализации образования. БистСмы Ρ„ΠΎΡ€ΠΌΠΈΡ€ΡƒΡŽΡ‚ ΠΏΠ΅Ρ€ΡΠΎΠ½Π°Π»ΡŒΠ½Ρ‹Π΅ ΠΌΠ°Ρ‚Π΅Ρ€ΠΈΠ°Π»Ρ‹, Π°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΡƒΡŽΡ‚ тСкстовыС ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Ρ‹ ΠΈ Π²Ρ‹Π΄Π°ΡŽΡ‚ ΠΎΡ‚Π²Π΅Ρ‚Π½ΡƒΡŽ Ρ€Π΅Π°ΠΊΡ†ΠΈΡŽ. ΠœΠ΅Ρ…Π°Π½ΠΈΠ·ΠΌΡ‹ ΠΏΠΎΠ΄Π΄Π΅Ρ€ΠΆΠΈΠ²Π°ΡŽΡ‚ Π² ΠΈΠ·ΡƒΡ‡Π΅Π½ΠΈΠΈ иностранных языков Ρ‡Π΅Ρ€Π΅Π· ΠΆΠΈΠ²Ρ‹Π΅ общСния.

ΠšΠ»ΠΈΠ½ΠΈΡ‡Π΅ΡΠΊΠΈΠ΅ завСдСния ΡΠΊΡΠΏΠ»ΡƒΠ°Ρ‚ΠΈΡ€ΡƒΡŽΡ‚ способы для Π°Π½Π°Π»ΠΈΠ·Π° Π±ΡƒΠΌΠ°Π³ ΠΈ получСния ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΈ ΠΈΠ· записСй Π±ΠΎΠ»Π΅Π·Π½ΠΈ.