El capítol 4.1 introdueix l'anàlisi i desenvolupament de tècniques analítiques avançades per optimitzar el procés de recomanació de serveis turístics a l'agència COMPANY-002. Basant-nos en investigacions prèvies, on dissenyem una arquitectura analítica general i un mètode de detecció automàtica de clients potencials, aquesta secció se centra en l'avaluació dels documents d'oferta enviats als clients. L'objectiu principal és verificar que les recomanacions siguin més precises i estiguin alineades amb els desitjos i necessitats dels clients.
Per a això, es van analitzar 50 documents d'oferta seleccionats a l'atzar i els seus textos associats utilitzant tècniques de processament del llenguatge natural (PLN ). Es van implementar eines com ara SOFTWARE-TH-002, SOFTWARE-TH-003 y SOFTWARE-TH-003 per fer el reconeixement d'entitats anomenades (NER), permetent extreure termes clau i construir un diccionari de puntuacions. Aquest diccionari va ser utilitzat per avaluar la rellevància de les ofertes en funció de la propensió del client a acceptar la recomanació.
El capítol també inclou una comparació entre les eines NER emprades, avaluant la seva precisió i velocitat, especialment en textos en espanyol. Aquest enfocament busca no només millorar la personalització de les recomanacions, sinó també identificar les solucions tecnològiques més eficaces per donar suport als agents de viatges en la seva presa de decisions.
4.1 Introducció
En investigacions prèvies per al nostre client COMPANY-002 Vam dissenyar una arquitectura analítica general per ajudar l'empresa a millorar el seu procés de vendes.
i dissenyem i implementen un mètode per a la detecció automàtica de clients potencials. En aquesta investigació basada en els coneixements anteriors, ens centrem en els documents d'oferta enviats als clients potencials durant el procés de venda, per tal de verificar que les recomanacions s'ajustin millor als desitjos del client.
Per a estudiar en detall aquest procés de recomanació, seleccionem a l'atzar 50 documents d'oferta i les oportunitats de text associades per part del client. Es va iniciar l'anàlisi de les oportunitats de text amb PLN per tal d'extreure les entitats i establir un diccionari general amb una puntuació associada a cada entitat, en funció de la propensió de l'oportunitat. A continuació, utilitzem aquest diccionari de puntuació com a base per a una avaluació detallada dels documents de l'oferta, usant tres mètodes diferents: SOFTWARE-TH-003, SOFTWARE-TH-002 i un basat en SOFTWARE-TH-003. Vam utilitzar totes aquestes tecnologies diferents per realitzar NER en els diferents textos. El reconeixement d'entitats per nom (NER) és una subtasca important en el processament del llenguatge natural. En l'última dècada s'han desenvolupat diversos sistemes NER. Poden dirigir-se a diferents dominis, emprar diferents metodologies, treballar en diferents idiomes, detectar diferents tipus d'entitats i admetre diferents formats d'entrada i sortida. Aquestes condicions dificulten que un usuari tècnic seleccioni les eines NER adequades per a una tasca específica Jiang et al. ( 2016 ). Ens centrem en fer una comparació Shelar et al. ( 2020 ) de tres eines NER diferents, basant-nos en les dades del nostre client: COMPANY-002. Com que els nostres clients dirigeixen textos en espanyol, intentem aconseguir la millor solució per aquest idioma Galicia-Haro et al. ( 2004 ).
4.2 Proposta
4.2.1 Processos analítics implicats en una recomanació
Creació del diccionari general de puntuacions
Per a la creació d'un diccionari general de puntuació, processem totes les oportunitats emmagatzemades en el CRM amb la funcionalitat NER de SOFTWARE-TH-002. Amb aquesta informació sobre els termes creem una taula que emmagatzema la relació del terme trobat amb el resultat de l'oportunitat, compra o desisteix.
Vam afegir aquesta taula utilitzant el comptatge dels termes d'oportunitat i decisió, compra o desisteix. Amb l'objectiu de poder quantificar, generem un mètode de puntuació simple, mitjançant l'ús de les següents fórmules:
if (compra): count- id-term * 2
Taula 4.1: Diccionari de puntuació general
Term Score Maldives 13 Madrid 8.5....... Tanzània - 1 Bangkok - 1
Taula 4.2: Puntuació d'ofertes mitjançant el text d'una oportunitat
Offer-Id Destination Scoring 13485 Maldives 350 15839 Costa Rica 150....... 14592 Canàries 50 12394 Tanzània - 13.5
if (desiste): (count- id-term * - 1 ) / 2
On count-id-term representa el nombre únic de vegades que l'id apareix a la taula del grup (decisió, terme). Amb aquest mètode de quantificació per a les tres eines, vam començar a puntuar les ofertes dels documents.
Agregem de nou la informació amb la suma de la puntuació anterior per al grup (term), generant la puntuació general per a un terme, donada qualsevol decisió, com es mostra a la Taula: 4.1
Puntuació dels documents d'oferta
Fem les tres tècniques de PLN sobre els documents d'oferta, emmagatzemats sota format.docx. La idea és obtenir mitjançant l'ús de NER els termes importants per als documents. Els termes següents es van puntuar usant el diccionari general explicat en la secció anterior, per tant finalment, a partir d'un text d'oportunitat, vam obtenir un conjunt de recomanacions (documents d'oferta) ordenades per puntuació generades amb el diccionari general, com es mostra en la Taula 4.2
Usant les diferents eines NER
SOFTWARE-TH-002
SOFTWARE-TH-002 és una biblioteca de Python de codi obert per a PLN, llançada en 2015 creadors de SOFTWARE-TH-002 descriuen el seu treball com PLN industrial. SOFTWARE-TH-002 pot treballar amb models de llenguatge preentrenats i vectors de paraules per a més de 60 idiomes. Els models de llenguatge ens permeten realitzar una varietat de tasques de
Taula 4.3: Benchmark de velocitat SOFTWARE-TH-002 al novembre de 2022
LIBRARY PIPELINE WPS CPU WPS GPU SOFTWARE-TH-002 en _ core _web _ lg 10,014 14,954 SOFTWARE-TH-002 en_core _web_trf 684 3,768 Starza en _ wt 878 2,180 Flair post( fast) & ner(- fast) 323 1,184 UDPipe english-ewt- ud- 2.5 1,101 n/a
PLN, inclòs el reconeixement d'entitats amb nom (NER) Vasiliev 2020 ).
Instal·la SOFTWARE-TH-002 és molt fàcil usant pp, després cal descarregar el model de SOFTWARE-TH-002 En aquest estudi s'han provat diversos, sent el millor a_core_web_sm, versió anglesa, encara que estiguem treballant amb textos en espanyol, atès que el nostre objectiu era detectar el major nombre d'entitats.
A més, vam afegir un plugin anomenat negspaCy, un objecte de pipeline SOFTWARE-TH-002 per negar conceptes en text, basat en l'algorisme SOFTWARE-TH-005 Xapman et al. ( 2001 ). Amb aquest pipeline podem gestionar la lògica involucrada en les diferents entitats, detectant quan l'entitat està negada i proporcionant una millor recomanació.
En termes de velocitat SOFTWARE-TH-002 és la biblioteca de PLN més ràpida, també podem donar un cop d'ull als seus punts de referència [LINK-REDACTED] comparem la velocitat de diferents biblioteques de PLN, mesurada en paraules per segon (WPS): com més alta, millor, l'avaluació es va realitzar en 10,000 comentaris de Reddit:
SOFTWARE-TH-003
A finals de 2018 un grup de científics del laboratori ORG-TH-008 sota el lideratge de J. Devlin, va presentar un nou model lingüístic anomenat SOFTWARE-TH-003. Aquest model està destinat a l'aprenentatge preliminar profund de Representació de text bidireccional per al seu ús posterior en models d'aprenentatge automàtic. L'avantatge d'aquest model és la seva facilitat d'ús, que implica afegir només una capa de sortida a l'arquitectura neuronal existent per obtenir models de text que superen la inexactitud de tots els existents en diversos problemes de processament de text natural Koroteev ( 2021 ).
Per l'ús SOFTWARE-TH-003 Treballem amb el model: xlm-roberta-llarge-ner-spanish, aquest model és un model XLM-Roberta-llarge ajustat per al Reconeixement d'Entitats per Nom (NER) sobre la part espanyola del conjunt de dades Co NLL-200 2. En avaluar- lo en el subconjunt de prova d'aquest conjunt de dades, obtenen una puntuació F1 de 89,17 un dels millors NER per a espanyol disponibles
en el moment d'execució d'aquest experiment. La velocitat de SOFTWARE-TH-003 NER és més lenta que amb SOFTWARE-TH-002 però sembla més precisa en les recomanacions quan és reeixida, que la de SOFTWARE-TH-002.
Fine Tuned SOFTWARE-TH-003 based
Tot i que els models d'aprenentatge profund han assolit l'estat de l'art en moltes tasques de PNL, aquests models requereix un entrenament des de zero, requereixen grans conjunts de dades i dies de computació per convergir a una solució. La investigació en NLP s'ha centrat principalment en la transferència transductiva. Per a la transferència inductiva, l'ajustament fi de les incrustacions (empeddings) de paraules preentrenades, una tècnica de transferència simple que només es dirigeix a la primera capa d'un model, ha tingut un gran impacte en la pràctica i s'utilitza en la majoria dels models d'última generació. Enfocs recents que concaten incrustacions derivades d'altres tasques amb l'entrada en diferents capes segueixen entrenant el model de la tasca principal des de zero i tracten les incrustacions preentrenades com a paràmetres fixos, el que limita la seva utilitat. A la llum dels beneficis del preentrenament, hauríem de ser capaços de fer alguna cosa millor que inicialitzar aleatòriament la resta de paràmetres dels nostres models. No obstant això, la transferència inductiva a través de l'ajust fi no ha tingut èxit per PLN, tot i que per primera vegada l'ajustament fi d'un model de llenguatge (LM) pot ser la millor solució, requereix de milions de documents en el domini per aconseguir un bon rendiment, el que limita severament la seva aplicabilitat. Howard i Ruder ( 2018 )
Usem SOFTWARE-TH-002 inicialment per afinar el nostre transformador. En primer lloc, vam fer el següent etiquetatge de dades:
lluna TYPE de O mel TYPE africa DESTINATION platja DESTINATION viatge TYPE de O xicots TYPE platja DESTINATION safari TYPE Disney DESTINATION Disneyland DESTINATION
Després d'alguns passos de configuració, entrem el model SOFTWARE-TH-003. Els pa-
Taula 4.4: Compte de casos per generar la matriu de confusió
Real SOFTWARE-TH-002 SOFTWARE-TH-003 Fine Tuned Good Bad Good Bad Good Bad Good Bad Good 9 9 13 6 14 6 Predicted Bad 15 7 11 10 10 10
Sos d'instal·lació són els més complexos de les tres biblioteques, però els resultats obtinguts, que es mostren en la següent secció, mereixen realment la pena.
4.3 Experiments
4.3.1 Comparació de resultats, utilitzant el mètriques de la matriu de confusió
Tenint en compte que estem comparant tres llibreries amb funcionalitats NER, que són completament diferents, establim que per fer una comparació entre les diferents tècniques necessitàvem el procediment de matriu de confusió. Vam valorar les recomanacions en termes de bones o dolentes, per la qual cosa definim la matriu binària com Recomanacions Reials i Recomanacions Previstes.
Vam generar una matriu de confusió binària, els valors comptats es mostren a la Taula 4.4 mètriques obtingudes per cada tècnica de PLN es mostren a la taula 4.5, aquestes mètriques mostren que les millors tècniques són Fine-tuned, SOFTWARE-TH-003 y SOFTWARE-TH-002 en aquest ordre. Examinant les mètriques podem notar que les tècniques de SOFTWARE-TH-003 i la Fine Tuned són molt similars, encara que l'última és millor que la primera. La tècnica de SOFTWARE-TH-002 és la pitjor, amb una gran diferència amb les altres, encara que és la millor que maneja la lògica entre entitats.
Taula 4.5: Mètriques obtingudes per a les diferents tècniques de PLN
SOFTWARE-TH-002 SOFTWARE-TH-003 Accuracy 0.4000 0.5750 0.6000 Precision 0.5000 0.6842 0.7000 F1 Score 0.4286 0.6047 0.6364
4.3.2 Altres solucions PLN: ORG-TH-007
Vam decidir provar altres solucions de PLN per comprovar si eren útils per als nostres fins. Vam provar els serveis de ORG-TH-007 amb el model 3.5, per al pro-
ceso NER, obtenint resultats similars. És cert que les entitats reconegudes per ORG-TH-007 són més que amb SOFTWARE-TH-002, SOFTWARE-TH-003 o Fine-Túning, però treballar amb ORG-TH-007 genera nous problemes, la seva API no és capaç de respondre en espanyol i la lògica de les entitats no es considera o es considera erròniament, com segueix:
Per a la pregunta:\ Respon en espanyol. Lluna de Mill, una cosa com Nova York, no a les Maldives, lluna de mel, per a dues persones, tot inclòs. 15 d'Agost de 2022 Gràcies\"
La resposta de ORG-TH-007 es: \ \ \ Maldives\ Honeymoon\ \ August 15, 2022 \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ "
El que a priori és una funcionalitat molt interessant, podria generar una mala recomanació perquè la consulta inicial deia: Maldives no, i ORG-TH-007 Està retornant exactament el contrari, una mala recomanació.
Amb el nostre model SOFTWARE-TH-002, mitjançant l'ús del plugin negspaCy utilitzat per negar conceptes en text basat en l'algorisme SOFTWARE-TH-005 Podem treballar millor amb la lògica entre entitats, especialment amb la negació d'entitats. Aquest tipus de capacitat encara no és possible amb ORG-TH-007 i el seu model 3.5 i amb SOFTWARE-TH-003 Això es gestiona associant la importància d'un terme de puntuació.
4.3.3 Futura creació d'un agent de viatges virtual mitjançant el sistema multiagent
En una investigació prèvia Moreno et al. ( 2022 ) utilitzem MAS per distribuir la càrrega de treball del sistema. Aquí també ho apliquem, amb un disseny arquitectònic bioinspirat, per organitzar els diferents processos implicats i per difondre i emular les competències dels futurs agents de viatges electrònics.
Com s'ha explicat en la secció anterior, els sistemes multiagent són col·leccions d'entitats intel·ligents autònomes que col·laboren en la resolució conjunta de problemes complexos. Hi ha altres investigacions prèvies que demostren per què i com aplicar-los en el camp del turisme X. Wang et al. ( 1997 ). Aquí ens centrem en un problema específic, encara futur, d'aquesta indústria: com emular un agent de viatges.
Com hem assenyalat, avui dia els agents de viatges podrien ser vistos com a recomanadors humans, reben una sol·licitud, la processen i tornen la seva millor recomanació. Però des del punt de vista de la modelització tècnica, el procés de recomanació és complex i requereix que molts altres processos, alguns analítics, altres operatius, participin de manera coordinada per obtenir la millor taxa d'èxit. Vam proposar com a solució un MAS novedós i bioinspirat basat en l'estructura dels formiguers.
L'absorció del formiguer permet organitzar el codi en el mateix sentit que ho fa un framework, per exemple, on l'agent reina és similar al controlador, els soldats com els models i els treballadors com les vistes. Però a mesura que funciona el formiguer, permet aquest tipus d'organització d'una manera intel·ligent, per exemple, integrant característiques més avançades com la negociació entre agents. Per a la millora futura de les habilitats de negociació dels agents, es podria utilitzar un mètode equilibrat incremental per arribar a un acord entre els agents, però també entre els agents i els humans, aquest mètode de negociació està descrit en detall a Insua et al. ( 2003 ).
4.4 Conclusions
El PLN és la millor tècnica d'intel·ligència artificial que es pot aplicar quan les dades pertanyen al tipus de text. Després de provar tres tècniques diferents de codi obert, ningú usaria aquestes solucions per a problemes en els quals la solució necessita reduir al màxim els falsos positius, com mostrem en la taula de casos comptats. Però després d'haver provat altres solucions comercials, com ORG-TH-007, l'àrea de les solucions de codi obert encara tenen molt a dir en aquest camp.
Les tècniques de codi obert es van provar només contra les seves funcionalitats NER, encara hi ha més característiques per provar com a tècniques de PLN, però hi ha una gran diferència entre les solucions bàsiques de SOFTWARE-TH-002 les solucions base de SOFTWARE-TH-003, sent aquestes últimes les millors. El cas d'ús exposat és un bon exemple de com el PLN pot ajudar a altres empreses (no necessàriament relacionades amb el turisme), a assolir un nivell superior quan es tracta de dades de text.
L'extensió del MAS bioinspirat basat en l'estructura de formiguers per modelar una agència de viatges electrònica és una solució nova, que demostra no només com de completa i versàtil és l'arquitectura MAS proposada, sinó també que la regla de disseny de divideix i venceràs ajuda a l'hora d'aguantar sistemes complexos.
Aplicat al nostre client: COMPANY-002, les tècniques de solució de codi obert proporcionen una molt bona visió que podria ajudar els agents de viatges a identificar ràpidament les entitats importants en examinar el text de les sol·licituds dels clients.