O capítulo 4.1 Introduza a análise e desenvolvemento de técnicas analíticas avanzadas para optimizar o proceso de recomendación de servizos turísticos na axencia COMPANY-002. Basándonos en investigacións previas, onde deseñamos unha arquitectura analítica xeral e un método de detección automática de clientes potenciais, esta sección céntrase na avaliación dos documentos de oferta enviados aos clientes. O obxectivo principal é verificar que as recomendacións sexan máis precisas e están aliñadas cos desexos e necesidades dos clientes.
Para iso, analizaron 50 documentos de oferta seleccionados aleatoriamente e os seus textos asociados empregando técnicas de procesamento da linguaxe natural (PLN). implementaron ferramentas como SOFTWARE-TH-002, SOFTWARE-TH-003 y SOFTWARE-TH-003 para realizar o recoñecemento de entidades nomeadas (NER), permitindo extraer termos chave e construír un dicionario de puntuacións. Este dicionario foi usado para avaliar a relevancia das ofertas en función da propensión do cliente a aceptar a recomendación.
O capítulo inclúe tamén unha comparación entre as ferramentas NER usadas, avaliando a súa precisión e velocidade, especialmente en textos en español. Este enfoque busca non só mellorar a personalidade das recomendacións, senón tamén identificar as solucións tecnolóxicas máis eficaces para apoiar aos axentes de viaxes na súa toma decisións.
4.1 Introdución
En investigacións previas para o noso cliente COMPANY-002 Deseñamos unha arquitectura analítica xeral para axudar á empresa a mellorar o seu proceso de vendas
e deseñamos e implementamos un método para a detección automática de clientes potenciais. Nesta investigación baseada nos coñecementos anteriores, centrámonos nos documentos de oferta enviados aos clientes potenciais durante o proceso de venda, coa fin de verificar que as recomendacións se axusten mellor aos desexos do cliente.
Para estudar en detalle este proceso de recomendación escollemos aleatoriamente 50 documentos de oferta e as súas oportunidades de texto asociados por parte do cliente. Analizause a análise das oportunidades de texto con PLN coa fin de extraer as entidades e establecer un dicionario xeral cunha puntuación asociada a cada entidade, en función da propensión da oportunidade. A continuación, usamos ese dicionario de puntuación como base para unha avaliación detallada dos documentos da oferta, usando tres métodos diferentes: SOFTWARE-TH-003, SOFTWARE-TH-002 e un baseado en SOFTWARE-TH-003. Usamos todas estas tecnoloxías diferentes para realizar NER nos diferentes textos. O recoñecemento de entidades por nome (NER) é unha subtarefa importante no procesamento da linguaxe natural. Na última década desenvolvéronse varios sistemas NER. Poden dirixirse a diferentes dominios, empregar diferentes metodoloxías, traballar en diferentes linguas, detectar diferentes tipos de entidades e admitir diferentes formatos de entrada e saída. Estas condicións dificultan que un usuario técnico escolla as ferramentas NER apropriadas para unha tarefa específica Jiang et ao. ( 2016 ). Centrámonos en facer unha comparación Shelar et al. 2020 ) de tres ferramentas NER diferentes, basándonos nos datos do noso cliente: COMPANY-002. Dado que os nosos clientes manexan textos en español, tentamos conseguir a mellor solución para ese idioma Galicia-Haro et ao. ( 2004 ).
4.2 Proposta
4.2.1 Os procesos analíticos implicados nunha recomendación
Creación do dicionario xeral de puntuacións
Para crear un dicionario xeral de puntuación, procesamos todas as oportunidades almacenadas no CRM coa funcionalidade NER de SOFTWARE-TH-002. Con esa información sobre os termos creamos unha táboa que almacena a relación do termo atopado co resultado da oportunidade, compra ou desiste.
Engadirmos esa táboa usando o conteo dos termos de oportunidade e decisión, compra ou desiste. Co obxectivo de poder cuantificar, xeramos un método de puntuación simple, mediante o uso das fórmulas seguinte:
if (compra): count- id- Term * 2
Táboa 4.1: Dicionario de puntuación xeral
Term Score Maldivas 13 Madrid 8.5....... Tanzania - 1 Bangkok - 1
Táboa 4.2: Puntuacións de ofertas mediante o texto dunha oportunidade
Offer-Id Destination Scoring 13485 Maldivas 350 15839 Costa Rica 150....... 14592 Canarias 50 12394 Tanzania - 13.5
if (desist): (count- id- Term * - 1 ) / 2
Onde count- id- Term representa o número único de veces que o id aparece na táboa do grupo (decisión, termo). Con este método de cuantificación para as tres ferramentas, comezamos a puntuar as ofertas dos documentos.
Engadir de novo a información coa suma da puntuación anterior para o grupo (term), xerando a puntuación xeral para un termo, dada calquera decisión, como se mostra na táboa: 4.1
Puntuacións dos documentos de oferta
Realizamos as tres técnicas de PLN nos documentos de oferta, almacenados baixo formato docx. A idea é obter mediante o uso de NER os termos importantes para os documentos. Os termos seguintes puntuáronse empregando o dicionario xeral explicado na sección anterior, polo que finalmente, a partir dun texto de oportunidade, obtivemos un conxunto de recomendacións (documentos de oferta) ordenadas por puntuación xeradas co dicionario xeral, como se mostra na táboa 4.2
A usar as diferentes ferramentas NER
SOFTWARE-TH-002
SOFTWARE-TH-002 é unha biblioteca de Python de código aberto para PLN, lanzada en 2015, creadores de SOFTWARE-TH-002 describen o seu traballo coma PLN industrial. SOFTWARE-TH-002 Pode traballar con modelos de linguaxe preentrenados e vectores de palabras para máis de 60 linguas. Os modelos de linguaxe permítennos realizar unha variedade de tarefas
Táboa 4.3: Benchmark de velocidade SOFTWARE-TH-002 en novembro de 2022
LIBRARY PIPELINE WPS CPU WPS GPU SOFTWARE-TH-002 en_core_web_lg 10,014 14,954 SOFTWARE-TH-002 en_core_web_trf 684 3,768 Stanza en_ ewt 878 2,180 Flair pos (-fast) & ner(fast) 323 1,184 UDPipe english- ewt-ud- 2.5 1,101 n/a
PLN, incluído o recoñecemento de entidades con nome (NER) Vasiliev ( 2020 ).
Instalar SOFTWARE-TH-002 é moi doado usando pip, despois hai que descargar o modelo SOFTWARE-TH-002 Neste estudo probaronse varios, sendo o mellor en_ core_ web_ sm, versión inglesa, aínda que esteamos a traballar con textos en español, dado que o noso obxectivo era detectar o maior número de entidades.
Ademais, engadimos un plugin chamado NepaCy, un obxecto de pipeline SOFTWARE-TH-002 para negar conceptos en texto, baseado no algoritmo SOFTWARE-TH-005 Chapman et al. 2001 ). Con este pipeline podemos xestionar a lóxica involucrada nas diferentes entidades, detectando cando a entidade está negada e fornecendo unha mellor recomendación.
En termos de velocidade, SOFTWARE-TH-002 é a biblioteca de PLN máis rápida, tamén podemos botar unha ollada aos seus puntos de referencia [LINK-REDACTED] comparamos a velocidade de diferentes bibliotecas de PLN, medida en palabras por segundo (WPS): canto máis alta, mellor, a avaliación foi realzada en 10,000 comentarios de Reddit:
SOFTWARE-TH-003
A finais de 2018 Un grupo de científicos do laboratorio ORG-TH-008, baixo o liderazgo de J. Devlin, presentou un novo modelo lingüístico chamado SOFTWARE-TH-003. Este modelo está destinado á aprendizaxe preliminar profundo de Representación de texto bidireccional para o seu uso posterior nos modelos de aprendizaxe automática. A vantaxe deste modelo é a súa facilidade de uso, que implica engadir só unha capa de saída á arquitectura neuronal existente para obter modelos de texto que superan a inexactitude de todos os existentes en varios problemas de procesamento de texto natural Korotev ( 2021 ).
Para o uso de SOFTWARE-TH-003 Traballamos co modelo: xlm- deriva-ner-spanish, este modelo é un modelo XLM-Roberta- Range axustado para o Recoñecemento de Entidades por Nome (NER) na parte española do conxunto de datos Co NLL-200 2. Ao avalialo no subconxunto de proba deste conxunto de datos obteñen unha puntuación F1 de 89,17 Sendo un dos mellores NER para español dispoñíbeis
no momento de execución deste experimento. A velocidade de SOFTWARE-TH-003 NER é máis lenta que con SOFTWARE-TH-002, pero parece ser máis precisa nas recomendacións cando é exitosa, que a de SOFTWARE-TH-002.
Fine Tuned SOFTWARE-TH-003 based
Aínda que os modelos de aprendizaxe profundo acadaron o estado da arte en moitas tarefas de PNL, estes modelos require un adestramento dende cero, requiren grandes conxuntos de datos e días de computación para converter a unha solución. A investigación en NLLP é centrada principalmente na transferencia transductiva. Para a transferencia inductiva, o axuste fino das incrustacións (embedings) de palabras preentreadas, unha técnica de transferencia simple que só se dirixe á primeira capa dun modelo, tivo un grande impacto na práctica e úsase na maioría dos modelos de última xeración. Enfoques recentes que concatenan incrustacións derivadas doutras tarefas coa entrada en diferentes capas seguen a adestrar o modelo da tarefa principal dende cero e tratan as inclustacións preentrenadas como parámetros fixos, o que limita a súa utilidade. Á luz dos beneficios do preentrenamento, deberiamos ser quen de facer algo mellor que inicializar aleatoriamente o resto de parámetros dos nosos modelos. Porén, a transferencia inductiva a través da configuración fina non tivo éxito para PLN, aínda que por primeira vez o axuste fino dun modelo de linguaxe (LM) pode ser a mellor solución, require millóns de documentos no dominio para acadar un bo rendemento, o que limita a súa aplicabilidade. Howard e Ruder ( 2018 )
Usamos SOFTWARE-TH-002 inicialmente para afinar o noso transformador. En primeiro lugar, fixemos o seguinte etiquetado de datos:
lúa TYPE de O mel TYPE africa DESTINATION praya DESTINATION viaxe TYPE O noivos TYPE praia DESTINATION safari TYPE Disney DESTINATION Disneyland DESTINATION
Despois dalgúns pasos de configuración, adestramos o modelo SOFTWARE-TH-003. Os pa...
Táboa 4.4: Conta de casos para xerar a matriz de confusión
Real SOFTWARE-TH-002 SOFTWARE-TH-003 Fine Tuned Good Bad Good Bad Good Bad Good Good 9 9 13 6 14 6 Predicted Bad 15 7 11 10 10 10
sos de instalación son os máis complexos das tres bibliotecas, pero os resultados obtidos, que se mostran na seguinte sección, merecen realmente a pena.
4.3 Experimentos
4.3.1 Comparación de resultados, usando métricas da matriz de confusión
Tendo en conta que estamos comparando tres librerías con funcionalidades NER, que son completamente diferentes, estabelecemos que para facer unha comparación entre as diferentes técnicas precisabamos o procedemento de matriz de confusión. Clasificamos as recomendacións en termos de boas ou malas, polo que definimos a matriz binaria como Recomendacións Reais e Recomendacións Previstas.
Xeramos unha matriz de confusión binaria, os valores contados son mostrados na táboa 4.4, e os métricas obtidas por cada técnica de PLN amósanse na táboa 4.5, estas métricas amosan que as mellores técnicas son Fine-tuned, SOFTWARE-TH-003 y SOFTWARE-TH-002 nesta orde. A examinar as métricas podemos notar que as técnicas de SOFTWARE-TH-003 e Fine Tuned son moi similares, aínda que a última é mellor que a primeira. A técnica de SOFTWARE-TH-002 é a peor, cunha gran diferenza coas demais, aínda que é a mellor que manexe a lóxica entre entidades.
Táboa 4.5: Métricas obtidas para as diferentes técnicas de PLN
SOFTWARE-TH-002 SOFTWARE-TH-003 Accuracy 0.4000 0.5750 0.6000 Precision 0.5000 0.6842 0.7000 F1 Score 0.4286 0.6047 0.6364
4.3.2 Outras solucións de PLN: ORG-TH-007
Decidimos probar outras solucións de PLN para comprobar se eran útiles para os nosos fins. Probamos os servizos de ORG-TH-007, co modelo 3.5, para o pro-
ceso NER, obtendo resultados semellantes. É certo que as entidades recoñecidas por ORG-TH-007 son máis que con SOFTWARE-TH-002, SOFTWARE-TH-003 ou Fine-Tuning, pero traballar con ORG-TH-007 xera novos problemas, a súa API non é capaz de responder en español e a lóxica das entidades non se considera ou se considera erróneamente, como segue:
Para a pregunta:\Responde en español. Lúa de Miel, algo como Nova York, NON a Maldivas, lúa de mel, para dúas persoas, todo incluído saída. 15 de Agosto de 2022, grazas\"
A resposta de ORG-TH-007 é: \\"\Maldives\ \\\mpHoneymoon\\\\\\\\\ august 15, 2022 \\\ Allinclusive, for two people\ descrito\\ "
O que a priori é unha funcionalidade moi interesante, podería xerar unha mala recomendación porque a consulta inicial dicía: Maldivas non, e ORG-TH-007 está a devolver exactamente o contrario, unha mala recomendación.
Co noso modelo SOFTWARE-TH-002, mediante o uso do plugin negspaCy usado para negar conceptos en texto baseado no algoritmo SOFTWARE-TH-005 Podemos traballar mellor coa lóxica entre entidades, especialmente coa negación de entidades. Este tipo de capacidade aínda non é posíbel con ORG-TH-007 e o modelo 3.5 e con SOFTWARE-TH-003 isto é xestionado asociando a importancia dun termo de puntuación.
4.3.3 Funtura creación dun axente de viaxe virtual mediante o sistema multiaxente
Nunha investigación previa Moreno et al. ( 2022 ) utilizamos MAS para distribuír a carga de traballo do sistema. Aquí tamén o aplicamos, cun deseño arquitectónico bioinspirado, para organizar os diferentes procesos implicados e coa fin de difundir e emular as competencias dos futuros axentes de viaxes electrónicos.
Como se explicou na sección anterior, os sistemas multiaxente son coleccións de entidades intelixentes autónomas que colaboran na resolución conxunta de problemas complexos. Hai outras investigacións previas que demostran por que e como aplicalos no campo do turismo X. Wang et al. 1997 ). Aquí centrámonos nun problema específico, aínda futuro, desta industria: como emular a un axente de viaxes.
Como sinalamos, hoxe en día os axentes de viaxes poderían ser vistos como recomendadores humanos, reciben unha solicitude, a procesan e devolven a súa mellor recomendación. Pero dende o punto de vista da modelización técnica, o proceso de recomendación é complexo e require que moitos outros procesos, algúns analíticos, outros operativos, participan de forma coordinada para obter a mellor taxa de éxito. Propoñemos como solución un MAS novedoso e bioinspirado baseado na estrutura dos formigueiros.
A abstracción do formigueiro permítelle organizar o código no mesmo sentido que o fai un framework, por exemplo, onde o axente raíña é semellante ao controlador, os soldados como os modelos e os traballadores como as vistas. Pero como funciona o formigueiro, permite este tipo de organización dun xeito intelixente, por exemplo, integrando funcionalidades máis avanzadas como a negociación entre axentes. Para a mellora futura das habilidades de negociación dos axentes, poderíase usar un método equilibrado incremental para chegar a un acordo entre os axentes, pero tamén entre os axentes e os humanos, este método de negociación esta descrito en detalle en insua et ao ( 2003 ).
4.4 Conclusións
O PLN é a mellor técnica de intelixencia artificial que se pode aplicar cando os datos pertencen ao tipo de texto. Despois de probar tres técnicas diferentes de código aberto, ninguén usaría estas solucións para problemas nos que a solución precisa reducir ao máximo os falsos positivos, como amosamos na táboa de casos contados. Pero despois de probar outras solucións comerciais, como ORG-TH-007, a área das solucións de código aberto aínda teñen moito que dicir neste campo.
As técnicas de código aberto probaron só contra as súas funcionalidades NER, aínda hai máis funcionalidades por probar como técnicas de PLN, pero hai unha grande diferenza entre as solucións básicas de SOFTWARE-TH-002 e as solucións base de SOFTWARE-TH-003 Sendo estas últimas as mellores. O caso de uso exposto é un bo exemplo de como o PLN pode axudar a outras empresas (non precisamente relacionadas co turismo), a alcanzar un nivel superior cando se trata de datos de texto.
A extensión do MAS bioinspirado baseado na estrutura de formigueiros para modelar unha axencia de viaxes electrónica é unha solución novedosa, que demostra non só cuantil é a arquitectura MAS proposta, senón tamén que a regra de deseño de divide e vencerás axuda á hora de implementar sistemas complexos.
Aplicado ao noso cliente: COMPANY-002, as técnicas de solución do código aberto fornecen unha moi boa visión que podería axudar aos axentes de viaxe a identificar rapidamente as entidades importantes ao examinar o texto das solicitudes dos clientes.