Prehľad spracovania prirodzeného jazyka

Prehľad a definícia NLP

Spracovanie prirodzeného jazyka (NLP) je fascinujúcou vetvou umelej inteligencie, ktorá umožňuje ľuďom a strojom navzájom komunikovať v každodennom jazyku. Spôsob, akým dávate hlasové príkazy Siri alebo dostávate preklady na Google, sú oba príklady NLP v akcii, pretože oba ukazujú softvérové porozumenie a reagujú na ľudský jazyk.

Ako NLP súvisí s AI?

Väčšina ľudí nie je programátormi ani užívateľmi softvéru, čo je jeden z dôvodov, prečo je spracovanie prirodzeného jazyka také užitočné. Softvér môže mať strmú krivku učenia a NLP umožňuje používať aj komplexný softvér bez toho, aby ste sa stali odborníkom. V skutočnosti vám NLP umožňuje jednoducho opísať to, čo chcete pre AI rovnakým spôsobom, ako by ste to mohli vysvetliť priateľovi.

Termín AI pokrýva širokú škálu technológií, ale pobočka NLP sa zameriava na výzvy ľudského jazyka. Aby boli riešenia NLP skutočne užitočné, musia urobiť viac, než len zachytiť slová, ktoré hovoríte. NLP systémy musia pochopiť kontext a zámer za vašimi slovami. Aby to bolo možné, vývojári NLP používajú iné technológie umelej inteligencie, ako je strojové učenie a hlboké učenie.

Prečo je spracovanie prirodzeného jazyka dôležité?

Spracovanie prirodzeného jazyka vám umožňuje používať technológiu, ktorá by inak mohla byť ťažko použiteľná. Umožňuje tiež počítačom porozumieť textu a reči spôsobom, ktorý nemohli pred NLP. Tu sú niektoré z výhod NLP:

NLP pomáha ľuďom byť produktívnejší

Spracovanie prirodzeného jazyka môže v práci zvýšiť vašu efektivitu tým, že vám umožní používať automatizáciu na opakujúce sa alebo časovo náročné úlohy. Napríklad oddelenie služieb zákazníkom môže používať chatboty poháňané technológiou NLP na spracovanie bežných dopytov zákazníkov. Alebo môže účtovné oddelenie použiť systémy s podporou NLP na získanie kľúčových informácií z faktúr a dokladov a použiť ich na vyplnenie databázy alebo tabuľkovej kalkulácie.

Ako ďalšie výhody automatizácia zadávania a spracovania údajov znižuje šance na ľudskú chybu a urýchľuje pracovné postupy. Keď systém dokáže dostatočne dobre pochopiť ľudský jazyk na to, aby prevzal základné úlohy, zvyšuje produktivitu tým, že umožňuje používateľom sústrediť sa na úlohy s vyššou hodnotou.

NLP pomáha zlepšovať skúsenosti zákazníkov

Keď sa pokúšate dostať do podniku telefonicky, ale nemôžete prejsť do zmätočného telefónneho stromu, zažívate slabo vyškolený interaktívny systém hlasovej odozvy. Ale dobre vyškolený chatbot NLP môže poskytnúť zákazníkom intuitívnejší zážitok. Napríklad stránka elektronického obchodu so systémom s podporou NLR môže analyzovať, aké produkty zákazník na stránke prehľadáva. Pochopením toho, ktoré produkty sú pre zákazníka zaujímavé, môže systém potom navrhnúť produkty, ktoré zákazník pravdepodobne bude chcieť.

Konverzácie so službami zákazníkom využívajúce technológiu NLP zlepšujú skúsenosti rýchlym odpovedaním na otázky alebo riešením problémov. Tieto chatboty môžu byť navrhnuté tak, aby mali kompletnú históriu interakcií so zákazníkom a rozpoznali problémy, ktoré zákazník mal v minulosti.

NLP vytvára nové analýzy

Ak ste niekedy poslali e-mail firme, aby ste položili otázku, ponúkli radu alebo zaregistrovali sťažnosť, môže sa zdať, že ju nikto ani nečíta. A môže to tak byť, pretože len málo podnikov má čas prečítať si každú spätnú väzbu od zákazníkov, ktorú dostanú. Ale AI s aktivovaným NLP má čas. To môže posúvať obrovské dátové súbory, ako sú zákaznícke konverzácie na webových stránkach. Potom môže poskytnúť podnikom spoľahlivé zhrnutie týchto diskusií, aby podnik mohol túto otázku napraviť.

Ako funguje spracovanie prirodzeného jazyka?

Tu je návod, ako NLP umožňuje ľudské a strojové rozhovory. Nasledujúce kroky sa vzťahujú na jazyk vo forme textu. NLP pre hovorený jazyk je trochu iný, ale riadi sa rovnakými všeobecnými princípmi.

Pomocou vzorovej vety ukážme, ako proces funguje:

“Páči sa mi ukázať, ako funguje spracovanie prirodzeného jazyka.”

Algoritmus začína predbežným spracovaním textu.

Predbežné spracovanie textu

Predbežné spracovanie textu sa vzťahuje na zjednodušenie vytváraného textu, aby sa zjednodušilo spracovanie ľudského jazyka algoritmami NLP.

• Tokenizácia

Tokenizácia je proces rozkladu slov a interpunkcie vo vete na tokeny. Tokenizácia je dôležitá, pretože je efektívnejšie, aby algoritmy NLP spracovávali tokeny ako text pri vykonávaní úloh, ako je indexovanie a vyhľadávanie. Vzorová veta má v nej osem slov: „Páči sa mi, ako funguje spracovanie prirodzeného jazyka“. Má tiež obdobie, takže získate osem tokenov spočítaním slov a jeden spočítaním obdobia, celkovo deväť tokenov.

• Malé puzdro

Malé písmená je proces konverzie všetkých tokenov na malé písmená, aby bola množina údajov jednoduchšia. Vo vzorke vety bol jedným z tokenov „I.“. Aby sa predišlo nejednoznačnosti a zvýšila účinnosť, krok s nízkym plášťom konvertuje tieto veľké tokeny na „i“. Pravidlá pre lowercasing sa komplikujú v iných častiach procesu.

• Odstraňujú sa slová zastavenia

Ďalším spôsobom zjednodušenia textu pre spracovanie prirodzeného jazyka je odstránenie slov, ktoré nemajú významný význam, ktoré sa nazývajú stop slová. Vo vzorovej vete by sa slová „i“ a „ako“ zvyčajne označovali ako koncové slová. Keď ich algoritmus odstráni, zostáva vám sedem tokenov, ktoré sú „ako“, „demonštrujúce“, „prirodzené“, „jazyk“, „spracovanie“, „pracuje“ a „.“.

• Temmovanie a lemmatizácia

Dokonca aj so zvyšnými siedmimi tokenmi existuje priestor na ďalšie zjednodušenie. Jednou z metód, ktorá pramení, je strihanie slova do jeho základne alebo koreňovej formy. Token „demonštrujúci“ je slovo, ktoré stavia na stonke „demonstr“ rovnako ako „prirodzený“ stavia na „natur“, takže model nahrádza pôvodné tokeny stonkami „demonstr“ a „natur“.

Slovo môže mať v rôznych kontextoch rôzne významy a lemmatizácia je proces určovania správneho významu v konkrétnom kontexte. Vzorová veta obsahuje výraz „ako“, čo môže znamenať „užívať“ alebo „podobne“. V tomto prípade by lemmatizácia viedla k priradeniu kontextu, kde „ako“ znamená „užívať“.

Zobrazenie textu

Ďalším krokom je reprezentácia textu, ktorá konvertuje slová na číselný formát, ktorý dokáže stroj spracovať. Okrem čísel je možné text konvertovať na vektory alebo vloženia, čo sú zložitejšie formáty, ktoré poskytujú informácie, ako je kontext.

• Vrecko slov (BoW)

Počítače sú skvelé pri počítaní a meranie BoW počíta, koľkokrát sa slovo objaví v dokumente. Ak sa napríklad v dokumente často objavujú slová tím, hra a skóre, je pravdepodobnejšie, že kontext bude športovať. Vzorová veta má len jednu inštanciu každého slova. Zastúpenie BoW by ukázalo, že každé slovo sa vyskytuje len raz takto:

{„i“: 1, „like“: 1, „demonštrujúce“: 1, „ako“: 1, „prirodzené“: 1, „jazyk“: 1, „spracovanie“: 1, „práce“: 1}

• TF-IDF (termín frekvencia-inverzná frekvencia dokumentov)

TF-IDF používa vzorec založený na tom, ako často sa slovo zobrazuje v celkovej množine údajov vytvorenej z mnohých dokumentov na určenie dôležitosti slova. Čím častejšie sa slovo ukáže, tým nižšia je jeho hmotnosť TF-IDF a tým menej dôležité je to v jednom dokumente. Slová ako „the“ a „a“ sa objavujú pomerne často, a tak sú menej dôležité. Predstavovali by ste váhy vzorovej vety v podobnej forme, čo by ukázalo, že bežné slová majú nižšie váhy a menej časté slová majú vyššie váhy:

{„i“: 0.1, „like“: 0,1, „demonštrujúce“: 0,3, „ako“: 0,1, „prirodzené“: 0,2, „jazyk“: 0,2, „spracovanie“: 0,5, „práce“: 0,1}

Analýza textu

Textová analýza je bod, v ktorom algoritmus NLP extrahuje význam z textu. Je to spôsob, akým algoritmus môže vytvoriť vhodné odpovede na dotaz používateľa.

• Uznanie pomenovanej entity (NER)

Po vykonaní kvantitatívnej analýzy, NLP algoritmy ďalej hľadajú slová, ktoré sú rozpoznateľné ako pomenovanie niečoho. Slovo jablko označuje druh ovocia, ale slovo Apple odkazuje na konkrétnu spoločnosť a algoritmus NLP potrebuje spôsob rozpoznania rozdielu. Vzorová veta „Rád demonštrujem, ako funguje spracovanie prirodzeného jazyka“, obsahuje slová „spracovanie prirodzeného jazyka“, ktoré ľudia môžu rozpoznať ako pomenovanie technológie umelej inteligencie. Toto je znázornené takto:

Výstup NER: [(„spracovanie prirodzeného jazyka“, „technológia“)]

• Analýza zmýšľania

Niektoré súbory údajov, ako napríklad katalóg kosačkových dielov, nemusia mať výrazný emocionálny tón. Ale recenzia filmu môže mať silný emocionálny tón. Ak množina údajov má tón, analýza sentimentu je krok v spracovaní prirodzeného jazyka, ktorý ju zachytáva. Pre vzorovú vetu môže analýza sentimentu vyzerať takto:

Výstup zmýšľania: Kladný

Syntaktická analýza

Každá veta má gramatickú štruktúru. Syntaktická analýza je proces analýzy tejto štruktúry s cieľom nájsť podstatné mená, slovesá, subjekty atď. Je to dôležité, pretože rôzne jazyky používajú inú syntax, takže syntaktická analýza je nevyhnutná pre strojový preklad. Pre vzorovú vetu môže syntaktická analýza vygenerovať tento výsledok:

Syntax Tree: [ROOT [S (NP (PRP I)] (VP (podobná VBP) (S (VP (predvádzanie VBG) [SBAR (WHADVP (WRB how)] [S (NP (NNP Natural) (NNP Language) (Spracovanie NNP)] (VP (práce VBZ)))))))))

V závislosti od konkrétneho algoritmu sa zvyčajne vykonajú ďalšie kroky. Výsledkom je konverzácia, pri ktorej sa zdá, že stroj rozumie vašim slovám a zámerom a reaguje na vás v prirodzenom jazyku.

Aké sú príklady úloh spracovania prirodzeného jazyka?

Ovládanie bezpilotného lietadla s hlasovými príkazmi

Aj tá najvýkonnejšia technológia má obmedzenú hodnotu, ak ju neviete používať. Spracovanie prirodzeného jazyka robí technológiu dostupnejšou. Znižuje potrebu špecializovaných technických znalostí na získanie výhod pokročilého softvéru alebo hardvéru. Používatelia môžu interagovať so systémami s podporou NLP prostredníctvom prirodzenej konverzácie namiesto toho, aby sa spoliehali na komplexné príkazy, kódovanie alebo fyzické ovládacie prvky.

Napríklad diaľkové ovládanie aplikácie pre malé bezpilotné lietadlá vám môže umožniť jednoducho povedať drone robiť niečo, ako je flip vo vzduchu, bez toho, aby ste sa museli naučiť zložité ovládacie prvky, ktoré by ste inak museli používať. Schopnosť používať jednoduché hlasové príkazy umožňuje viac ľudí používať technológiu.

Získanie lepších prehľadov pre manažment značky

Ľudia každý deň vyjadrujú svoje myšlienky a preferencie a podniky majú k nim prístup. Podniky už používajú údaje ako predaj produktov, aby pochopili niektoré aspekty správania zákazníkov. Vďaka riešeniam spracovania prirodzeného jazyka môžu počítače premeniť konverzácie sociálnych médií a online recenzie zákazníkov aj na použiteľné informácie.

Postoje z NLP sú iným druhom informácií ako tradičné analýzy predaja. Podnik používa ukazovatele predaja pre operatívne prehľady, ako je prognózovanie alebo riadenie zdrojov, ale analýza založená na NLR môže byť výkonnejšia pri riadení značky alebo zlepšovaní zákazníckej skúsenosti.

Zabránenie preťaženiu informácií

Ak máte e-mailovú adresu, ktorú používate pre svoju prácu, preťaženie informácií sa môže zdať nevyhnutné. Priemerný zamestnanec dostáva denne viac ako 120 e-mailov, takže nie je prekvapujúce, že asi 60 % zamestnancov jednoducho ignoruje interné firemné e-maily. Ak však vaša e-mailová aplikácia má funkcie NLP, môže vám pomôcť vyhnúť sa preťaženiu informácií. Môže filtrovať, kategorizovať a uprednostňovať e-maily, aby tí najdôležitejší získali pozornosť, ktorú potrebujú.

Podobne aj NLP systémy zabudované do softvéru spolupráce môžu prepisovať a sumarizovať stretnutia. Môžu dokonca rozpoznať a zachytiť kľúčové body počas stretnutia a podať správu o priradených akčných položkách. Tento druh automatizácie s podporou NLR pomáha jednotlivcom šetriť čas a zvyšuje celkovú organizačnú efektivitu.

Prípady použitia spracovania prirodzeného jazyka

NLP transformuje priemyselné odvetvia. Aplikácie NLP zlepšujú efektivitu zamestnancov, zlepšujú skúsenosti zákazníkov a umožňujú strategické rozhodovanie v širokom spektre odvetví. Nižšie sú uvedené niektoré pozoruhodné prípady použitia pre NLP v rôznych odvetviach.

Prístup k spracovaniu prirodzeného jazyka

Väčšina prístupov k spracovaniu prirodzeného jazyka spadá do jednej z dvoch širokých kategórií. Buď využívajú prístup založený na pravidlách, alebo prístup založený na strojovom učení.

NLP založené na pravidlách

Tento prístup sa pokúša identifikovať súbor jazykových pravidiel, ktoré môže počítač dodržiavať, aby spoľahlivo pochopil a vytvoril ľudský jazyk. V dôsledku toho je výrazne orientovaný na jazykové aspekty výpočtovej lingvistiky. Prístupy založené na pravidlách môžu byť vysoko efektívne, ak používate množiny údajov, kde je jazyk kontrolovaný a predvídateľný, ako sú právne dokumenty alebo technické príručky.

NLP založené na strojovom učení

Prístup k NLP založený na strojovom učení využíva rôzne štatistické metódy a algoritmické prístupy. Namiesto vytvárania pravidiel vopred je cieľom umožniť počítaču naučiť sa komunikovať na základe masívnej množiny údajov. Myšlienka je, že akonáhle počítač spracoval dostatok príkladov ľudského jazyka, počítač identifikuje vzory, ktoré vytvárajú dobrý ľudský jazyk. Ak máte dostatočne veľké dátové súbory, prístupy k NLP založené na strojovom učení môžu byť pomerne flexibilné a pozoruhodne efektívne.

Stručná história spracovania prirodzeného jazyka

Spracovanie prirodzeného jazyka ako vetvy AI sa začalo rozvíjať v 40. rokoch 20. storočia. V 80. a 90. rokoch 20. storočia sa výpočtové riešenia stali výkonnejšími a strojové učenie začalo dozrievať. Nedávno vzostup hlbokého učenia, neurónových sietí a rôznych foriem generatívnej umelej inteligencie úplne transformoval spracovanie prirodzeného jazyka.

Udalosti vo vývoji NLP

• 1940 | Objavuje sa prvý vývoj NLP, vrátane Weaverovho memoranda o strojovom preklade
• 50. roky | Zavedená univerzálna gramatika; Navrhnutý test Turingu; objavuje sa hlboké učenie
• 60. roky | Chatboty ako ELIZA a jazykové teórie podporujúce vývoj NLP
• 70. roky | Prípadová teória gramatiky a sémantické siete vznikajú; systémy založené na pravidlách dozrievajú a chatboty sa šíria
• 80. roky | Vyvíjajú sa algoritmy včasného strojového učenia; vyvíjajú sa technológie rozpoznávania reči; rozširuje sa výpočtová lingvistika a objavuje sa teória RNN
• 90. roky | Štatistické modely a LSTM sa objavujú a strojový preklad získava trakciu
• 2000 | Strojové učenie sa rýchlo vyvíja a rozvíjajú sa modely neurónových jazykov; k dispozícii je obrovské množstvo hovorených a textových dát
• 2010-tych rokov | Výrazný nárast dostupných údajov a výpočtov umožňuje rýchly vývoj hlbokého vzdelávania
• 2020s | Veľké jazykové modely, predškolené jazykové modely a transformátory získavajú popredné miesto

Prehľad technológií spracovania prirodzeného jazyka

Spracovanie prirodzeného jazyka je zastrešujúci pojem, ktorý pokrýva celý rad technológií a techník, ktoré umožňujú strojom porozumieť a produkovať ľudský jazyk. Každá technológia, ktorá umožňuje NLP spadá pod jednu z týchto dvoch schopností.

Podkategórie NLP

Spracovanie prirodzeného jazyka zahŕňa celý rad technológií a techník. Ale primárnym účelom NLP je umožniť strojom porozumieť a produkovať ľudský jazyk. Tieto dve schopnosti sú hlavnými zložkami spracovania prirodzeného jazyka.

• Pochopenie prirodzeného jazyka (NLU): Pochopenie prirodzeného jazyka sa zameriava na porozumenie a tlmočenie ľudského jazyka. Na to musia byť systémy NLU schopné analyzovať syntax, analyzovať sémantiku a pochopiť spôsob, akým kontext ovplyvňuje význam v ľudskom jazyku. To môže mať podobu, ako je porozumenie hovoreným otázkam alebo vykonávanie úloh na základe hovoreného smeru.
• Generovanie prirodzeného jazyka (NLG): Generácia prirodzeného jazyka sa zameriava na produkciu textu alebo reči podobného človeku. Na tento účel musia byť systémy NLG schopné zmeniť neštruktúrované údaje na prirodzený znejúci jazyk. Môže to znamenať zhrnutie informácií alebo dokonca vedenie konverzácií.

Úloha strojového učenia v NLP

Čo by mohol robiť počítač, ak by mohol naučiť sám seba nové zručnosti? To je to, čo je strojové učenie. Strojové učenie je, keď sa počítače naučia robiť úlohy samostatne bez akýchkoľvek konkrétnych pokynov.

Pre NLP má strojové učenie formu vytvárania modelov, ktoré umožňujú pochopenie prirodzeného jazyka aj generovanie prirodzeného jazyka. Využíva techniky vrátane vzdelávania pod dohľadom, čo sa vzťahuje na tréningové modely na údajoch, ktoré majú štítky, a nekontrolované učenie, čo sú tréningové modely na údajoch, ktoré nemajú štítky.

Úloha hlbokého učenia sa v NLP

Hlboké učenie je špecifická forma strojového učenia. Využíva neurónové siete, ktoré majú viacero vrstiev, a preto je v názve „hlboké“. „Učenie“ sa vzťahuje na použitie algoritmov, ktoré identifikujú a potom modelujú komplexné vzory v množinách údajov. Hlboké učenie je dôležité v NLP, pretože to urobilo NLP oveľa lepšie pri určitých úlohách. Patrí sem preklad medzi jazykmi, analýza zmýšľania v množine údajov a generovanie textu.

Ako neurónové siete zvyšujú NLP

Neurónové siete sú založené na myšlienke využitia ľudského mozgu ako modelu na spracovanie údajov. Neurónové siete umožňujú, aby NLP systémy boli vysoko presné v chápaní a generovaní ľudského jazyka. Neurónové siete môžu mať rôzne architektúry a sú kľúčom k umožneniu aplikácií, ako je virtuálny asistent, chatbot alebo automatizovaná analýza textu.

Výpočtová lingvistika a NLP

Výpočtová lingvistika je študijný odbor, ktorý kombinuje počítačovú vedu a lingvistiku s cieľom zamerať sa na spracovanie prirodzeného jazyka. Vytvára teoretický základ umožňujúci počítačom pochopiť ľudský jazyk.

• Syntax

Štúdium štruktúry viet a pravidiel, ktoré robia vety gramatické alebo negramatické.

Anglická syntax: „Mačka sedí na podložke.“

Nesprávna anglická syntax: “Cat on mat sits.”

• Sémantika

Štúdium významu v jazyku, vrátane toho, ako slová a frázy predstavujú objekty, činy a myšlienky.

Veta: „Mačka je na podložke.“

Sémantická interpretácia: Význam je, že je tam mačka fyzicky umiestnená na vrchu rohože.

• Pragmatika

Štúdium spôsobu, akým kontext ovplyvňuje interpretáciu jazyka.

Veta: „Dokážete prejsť soľou?“

Pragmatická interpretácia: Hoci je to otázka schopnosti, kontext ukazuje, že by ste mali pochopiť, že je to zdvorilá požiadavka, aby niekto prešiel soľou.

Výpočtová lingvistika je dôležitá, pretože spája bodky medzi jazykovou teóriou a reálnymi aplikáciami NLP.

Často kladené otázky