A disponibilidade de grandes e ricos conxuntos de datos textuais, creados principalmente a partir de contidos web, forneceu a minería de datos, os algoritmos e métodos de aprendizaxe automática a un ritmo sen precedentes. O que xerou un interese alto pola investigación da aprendizaxe automática para a análise de texto Aggarwal ( 2018 ). Hoxe en día, a minería de textos Mrivastava e Sahami ( 2009 ) e o procesamento da linguaxe natural (PLN) Eisenstein ( 2019 Constitúen a base de moitos destes estudos e implementacións.
5.1 Introdución
DATASET-TH-001 Vrandeaza ́c e Krötzsch ( 2014 ) é un exemplo dunha fonte de datos estruturada e de libre acceso, que se alimenta da información extraída dos artigos DATASET-TH-001 en múltiplas linguas. Os datos obtidos dos artigos de DATASET-TH-001 sometense a un proceso de anotación semántica para ampliar a base de coñecemento DATASET-TH-001 Seguindo un modelo de datos estruturado en gráficos para integrar novos programas.
Unha desas áreas de aplicación é a identificación do xénero no texto. O obxectivo é asignar unha etiqueta de xénero (por exemplo, ïfeminino imaxino ou imaxinomasculino a un bloque de texto baseándose en propiedades lingüísticas e outras funcionalidades descritivos. En xeral, as investigacións anteriores centráronse en identificar o xénero e o perfil da persoa que escribe o texto. Algúns exemplos inclúen a identificación do xénero dos autores de blogues Yan e Yan ( 2006 ) e de microblogging
Mukherjee e Bala ( 2017 ) ou en usuarios de sistemas de xestión de relacións co cliente (CRM) Amado et al. ( 2018 ).
A creación de entradas novas DATASET-TH-001 Baséase en pistas existentes e datos estruturados nos artigos de DATASET-TH-001 para completar cada tema. Por exemplo, se queremos recuperar datos estruturados sobre LibreGabriel García Márquezknot, podemos procurar en DATASET-TH-001 a entrada correspondente 2. Logo, podemos explorar varios campos con características descritivos sobre esta persoa, incluído o imagnosexo ou xénero vítima 3. Neste exemplo, o valor desta propiedade é ♫masculino xamais. No momento de escribir este artigo, a precisión desta información está baseada en até 6 referencias a artigos diferentes de DATASET-TH-001 que respaldan a atribución do valor "masculino.
Este campo baseándose en datos estruturados. Porén, como proxecto aberto para crear colaborativa de coñecemento, DATASET-TH-001 sufriu con frecuencia vandalismo e ataques de contido Adler et al. ( 2011 ); Geiger e Ribes ( 2010 ). No caso de que axentes maliciosos alternan os datos estruturados orixinais dos artigos de DATASET-TH-001 Detectar erros sen unha inspección manual sería unha tarefa complexa, mais aínda dada o tamaño da base de datos de temas DATASET-TH-001. Ademais, se non hai información estruturada sobre o xénero nun artigo de DATASET-TH-001, non sería posíbel asignar un valor directamente á propiedade "sexo ou xénero" para a súa entrada de DATASET-TH-001 correspondente. En troques, etiquetar a información de xénero en función dunha análise automática de datos textuais non estruturados no corpo dos artigos DATASET-TH-001 Podería mellorar a resilencia diante destes problemas. Este exemplo pódese extrapolar facilmente a calquera outro sistema de información que deba etiquetar automaticamente o contido dalgún bloque de texto cunha etiqueta de xénero.
Centrámonos nun caso específico, o problema de determinar automaticamente o xénero da persoa descrito nun texto biográfico. No resto deste traballo, referirémonos a este problema como identificación de xénero. A falta de estudos que inclúen linguas diferentes do inglés dificulta o desenvolvemento de novos procedementos en minería de textos para abordar mellor este problema. No canto de centrarnos exclusivamente no inglés, que fornece menos elementos de xénero, examinamos o uso do texto en español para capturar morfemas que levan información de xénero e son máis frecuentes nesa lingua. Para acadalo, evitaremos os pasos de normalización habituais na minaría de textos tradicional, como os derivados e a lematización Eisenstein ( 2019, porque descartan a información do xénero en termos lingüísticos. Seguindo este enfoque, demostramos que é posíbel asignar un valor de xénero ao contido textual cunha maior precisión.
Ao procesar o texto mediante técnicas de aprendizaxe automática, é utili-
2 [LINK-REDACTED] 3 [LINK-REDACTED]
zar representacións vectoriais, caracterizadas por unha alta dimensionalidade e dispersión, xa que conteñen numerosos compoñentes de valor cero. En ambiente de representacións dispersos de alta dimensión, as máquinas de vectores de soporte (SVM) Moguerza et al. ( 2006 ) son clasificadores computacionalmente axeitados Joachims ( 2002 ). Porén, a adaptación das técnicas tradicionais de resolución de optimización para a clasificación SVM Joachims ( 1999 Aplicada á identificación de xénero non garante unha converxencia rápida cando se achegan as iteracións á solución óptima do problema de optimización subxacente.
5.2 Proposta
Nesta sección, dentro do framework SVM, empréganse as propiedades xeométricas da tarefa de identificación de xénero de texto para modificar o criterio de detención do algoritmo de optimización subxacente ao substituír o criterio clásico de Karush- Kucker Feng e Li ( 2018 ) por unha nova proposta, que incorpora información (a taxa de erro) que non está relacionada co criterio que o algarismo SVM de optimización clásico tenta cumprir, xa que potencialmente pode adaptar a natureza do algoritmo ao problema xeométrico a resolver. No sucesivo, refírese a este SVM modificado como SVM xeométrico (GSVM). Para avaliar o rendemento deste novo enfoque comparar esta nova proposta con outros métodos de aprendizaxe supervisada Witten et al. ( 2017 ) para a identificación automática de xénero dentro de texto biográficas de autores literarios extraídos de DATASET-TH-001. Avalúase se evitar o paso común da lematización na minería de texto, que elimina os sufixos de xénero en palabras relevantes para o perfil de texto, mellora o rendemento na identificación de xénero. Ademais, móstrase a efectividade do enfoque GSVM para a aceleración da fase de adestramento do algoritmo e demostra que este método non afecta significativamente o rendemento do procedimento.
5.2.1 Criterio xeométrico de parada
A xeometría da función de decisión de SVM vinculada aos datos de adestramento é cuantificable en cada iteración medindo ou estimando a taxa de erro. É dicir, cando a taxa de erro estabiliza, a función de decisión cumpre cos requisitos para clasificar con éxito os datos. A Figura 5.1 mostra un exemplo con dúas nubes gausianas bidimensionais. A execución dun SVM até a iteración 2 produce a superficie de separación representada na Figura 5.1 a, mentres que a Figura 5.1 b mostra a superficie de separación calculada até a iteración 18. A función de decisión da Figura 5.1 fornece o mesmo erro empírico que a función de decisión da Figura 5.1 b, que requiriu máis iteracións e,
Polo tanto, máis tempo de adestramento para a súa construción. Pola contra, a construción da función de decisión na Figura 5.1 precisou menos iteracións de adestramento.
(a) SVM run until iteration 2 (b) SVM run until iteration 18
Figura 5.1: Dous superficies de separación calculadas con SVM: (a) superficie de separación obtida despois de 2 iteracións; (b) superficie de separación calculada despois de 18 iteracións.
Con base nestes fundamentos, definamos ♫k como a taxa de erro para o conxunto de adestramento na iteración k e imag > 0 coma un valor real que actúa como tolerancia. De acordo con ( 2.3 ),
n X
εk = 1
n
i= 1 ( 1 −yi f(xi))+. ( 5.1 )
Sea δk = |εk −εk− 5 |. O método deterase cando se cumpra o seguinte:
(δk ≤τ) ∧(δk− 5 ≤τ) ∧(δk− 15 ≤τ) ∧(|M(βk) −m(βk)| ≤ 100 ε), ( 5.2 )
onde o símbolo ♫ denota o operador lóxico ïy, é dicir, as catro desigualdades dentro do criterio deben cumprirse simultaneamente. Ao medir a desigualdade ♫k ♫ cada cinco iteracións e relaxar o criterio clásico, podemos evitar picos de erro non desexados causados pola aleatoriamente. O seguinte teorema demostra que existe unha relación directa entre os criterios de detención ( 2.12 ) y ( 5.2 ).
Teorema 2. Dado Bloq > 0 y ε > 0 \, existe un número de iteración kMaiús, descargado tal que ♫k e m( gayk) xancronizadorM( Zatherk) canadense, ♫k > karight, Libre.
Demostración. Por Corolario 1.1, sostense que:
l ́ım k→∞
m(βk) −M(βk) = 0
Polo tanto, existe un número de iteración k♫ tal que ♫k > kmail cumpre que:
m(βk) −M(βk) ≤ε.
Sexa o vector escrúbaa solución do problema ( 2.5 ), onde xi tal que canadense i > 0 son os chamados vectores de soporte. É ben sabido que a función f ♫, que determina a superficie de decisión f Libre( x) = 0, toma a forma:
n X
f ∗(x) =
i= 1 Paleta i yiK( x, x) + bc. ( 5.3 )
with
b∗= − Pn i= 1 Paleta i yiK( x, x+)
2 + Pn i= 1 β∗ i yiK(xi, x−)
2,
onde x+ e ximason dous vectores de soporte nas clases + 1 y - 1, respectivamente, tales que os seus multiplicadores de Lagrange asociados imagen+ e xancronizaciónsos teñen que 0 < β+ < C y 0 < β−< C.
Consideremos a función de decisión determinada polo problema ( 2.5 ), na iteración k:
n X
f k(x) =
i= 1 ♫k i yiK( x, x) + bk.
É sinxelo demostrar que, Libre > 0, existe un número de iteración kä tal que ♫k > k♫:
f k(x) −f ∗(x) ≤γ. ( 5.4 )
Isto débese ao Teorema 1, que garante que:
l ́ım k→∞βk = β∗,
e, polo tanto, que Libre > 0, existe un número de iteración k♫ tal que, ♫k > kmail, cumpre que:
βk −β∗ ≤ν.
Se tomamos ♫ o suficientemente pequeno, ( 5.4 ) se cumple para kγ = kν. Dado Bloq > 0, se tomamos o suficientemente pequeno ( 5.4 ), canadensek > kize, considerando a definición ( 5.1 ), cumpre que:
δk = |εk −εk− 5 | ≤τ,
y el teorema es válido para kτ,ε = m ́ax{kε, kν}.
□
Dado que o criterio ( 5.2 Baséase na taxa de erro, é intuitivo establecer un valor para Bloq. Podemos fixalo, por exemplo, en Libre = 0,0005, xa que unha taxa de erro de até 0,05 % Pode considerarse significativamente baixa. Esta intuición non existe para o criterio ( 2.12 ) porque a magnitude de g( montado) non se pode estimar de antemán. Na Sección 5.3, demostramos que, para o caso particular da identificación de xénero en textos, podemos atopar superficies de decisións adecuadas que cumpren o criterio ( 5.2 En significativamente menos iteracións que as requiridas para cumprir co criterio teórico comúnmente empregado ( 2.12 ). O punto clave é o entorno de alta dimensión no que se representa o texto, o que permite acadar unha boa xeneralización empírica rapidamente. Polo tanto, dende un punto de vista empírico, espérase que GSVM herde as propiedades de xeneralización de SVM.
5.3 Experimentos
Nesta sección, describimos en detalle o problema de identificación de xénero e a configuración dos experimentos.
5.3.1 Planteamento do problema
O problema da identificación de xénero en datos textuais como tarefa de clasificación de aprendizaxe supervisada. Dado un bloque de texto cuxo contido pode etiquetarse cunha etiqueta de xénero asociada coa persoa descrito no texto, o algarismo debe inferirse automaticamente a etiqueta. Neste caso, consideramos dúas etiquetas posíbeis de saída, L = {mailfemeninohemenino-heminhy, gaymasculino xa que o noso conxunto de datos experimentais só contén instancias destas dúas clases de xénero, como se describe na Subsección 5.3.3. Polo tanto, restrinximos a nosa elección de algoritmos a aqueles orientados á clasificación binaria. O mesmo enfoque pode estenderse para considerar etiquetas adicionais de saída, reformulando o problema como unha tarefa de clasificación dunha contra todas ou de varias etiquetas.
O noso marco de traballo difire dos enfoques anteriores en dous aspectos prin-
cipais:
Se ben tarefas anteriores seguen procedementos de minaría de texto convencionais, como a derivación, evitamos intencionalmente este paso para conservar o sufixo de xénero nos termos e explorar o seu impacto na identificación de xénero para textos en linguas con unha forte inflexión como o español.
No canto de etiquetar unha secuencia de entidades con nome nun texto, abordamos o problema de asignar unha etiqueta de xénero a un bloque de texto ou a un documento completo que describe a unha persoa. Este é un problema relevante para moitos programas, incluída a anotación automática de entradas nas bases de datos semánticas.
Hai moitas linguas que son flexibles, o que significa que as palabras poden cambiar a súa forma para reflectir información gramatical como número, tempo ou xénero Hedlund et al. ( 2001 ). En español, as palabras que rematan en o.o nunha consoante denotan xénero masculino, mentres que as que rematan en "son principalmente femininas. A lematización tenta eliminar as diferenzas entre as formas flexivas dunha palabra para reducir cada palabra á súa forma raíz. Este preprocesamento foi o enfoque estándar na minaría de texto e a recuperación de información para mellorar a precisión na identificación de termos chave nun texto dado.
Pero como se mencionou anteriormente, en español, o sufixo de moitas palabras pode ser un indicador práctico e directo do xénero. Por esta razón, parece razoable supoñer que se non aplicamos a lematización e conservamos no seu lugar os sufixos de xénero, podemos mellorar a precisión na identificación de xénero. Propónse a seguinte estratexía para a identificación do xénero de textos:
1. Aplicar os procedementos estándar en minería de textos para preparar o texto de entrada aínda sen procesar, incluíndo a tokenización e eliminar palabras baleiras (preséntanse detalles de implementación adicionais na Sección 5.3 ).
2. Prevía á creación da representación vectoria para cada documento, os métodos convencionais de minería de textos suxiren a realización dalgún proceso de normalización de texto Sproat et al (. 2001 ), como a lematización, para eliminar os afixos flexitivos, fornecer unha representación típica de palabras semellantes e reducir o tamaño do vocabulario. Pola contra, propoñemos suprimir este paso de normalización de texto, conservando o seu lugar os sufixos flexitivos que conteñen información adicional sobre o xénero en linguas específicas.
3. Logo, retomamos o proceso estándar para a preparación de documentos, xerando unha representación vectoria de cada documento e construíndo unha matriz termo- documento (establemente, brindanse máis detalles na Sección 5.3 ).
Esta estratexia aplícase á preparación de datos textuais que adestrarán un algoritmo de aprendizaxe automática para a identificación do xénero. Para demostrar a aplicabilidade deste procedemento nun entorno real, deseñamos unha serie de experimentos de validación, que se describen na seguinte sección.
5.3.2 Configuración dos experimentos
O obxectivo principal é avaliar a capacidade do noso framework proposto para a identificación automática do xénero asociado a documentos de texto do mundo real. Para este propósito, recuperamos artigos biográficas que describen autores literarios das versións en inglés e español de DATASET-TH-001, cuxos datos alimentan outros sistemas baseados en coñecemento semántico como DATASET-TH-001. Polo tanto, crearon dous conxuntos de datos diferentes, un para cada lingua. Deseñamos a construción do noso conxunto de datos para asegurar unha representación igualitaria das dúas etiquetas nas entradas biográficas escollidas para os nosos experimentos en inglés e español.
Ao implementar o noso procedemento en texto de entrada en inglés e español, o noso obxectivo é confirmar se evitar a derivación ten un impacto positivo no rendemento do noso clasificador de identificación de xénero. O noso conxunto de datos escollido consistiu en biografías de autores masculinos e femininos. Esta escolla permítenos enmarcar o experimento como un problema de clasificación binaria para o cal hai varios algoritmos de aprendizaxe automática. A figura 5.2 mostra unha descrición xeral do procedemento experimental para avaliar cada método de aprendizaxe supervisada.
Cada conxunto de datos de biografías en inglés e español divídese nos subconxuntos de práctica e proba. Específicamente, el 70 % das biografías en cada lingua empréganse para o adestramento, mentres que o 30 % restante é conservado como un conxunto de probas para avaliar o rendemento dos algoritmos de aprendizaxe supervisada. A sección seguinte fornece detalles adicionais acerca da recuperación e preparación dos dous conxuntos de datos.
5.3.3 Conxuntos de datos empregados
Comezamos, recuperando biografías de autores literarios de DATASET-TH-001 A rastrexar a súa web directamente mediante a utilización do paquete DATASET-TH-001 Keyes e Til-
Figura 5.2: Descrición do marco proposto para probar métodos alternativos de aprendizaxe supervisada.
SOFTWARE-TH-003 ( 2017 ), dispoñíbel para o entorno estatístico R, ORG-TH-112 ( 2022 ). Este paquete pode obter unha lista de páxinas, subcategorías, contido de páxinas e outra información sobre unha categoría específica.
O conxunto de datos dispoñíbel publicamente en inglés Gomez et al. ( 2021 a), 4, contén 1000 biografías de escritores extraídas de DATASET-TH-001 en lingua inglés. Estes artigos están divididos equitativamente nun conxunto de mulleres e un conxunto de homes. As biografías de mulleres extraéronse da categoría oncritoras_ mulleres_ del_siglo XIX activado, mentres que as primeiras 500 páxinas da categoría xacedescritores_ homes_ del_ siglo XIX vultáronse para as biografías de homes.
O conxunto de datos dispoñíbel publicamente en castelán Gomez et al. ( 2021 b),
5, contén 832 biografías extraídas de DATASET-TH-001 en lingua español. As biografías de mulleres extraéronse da categoría ♫Escritoras de España holandés. En caso contrario, as primeiras 416 páxinas da categoría ♫Escritores de España do século XXher recuperáronse para as biografías de homes. Polo tanto, estas biografías tamén se dividen en dous subconxuntos, un de mulleres e outro de homes.
A táboa 5.1 resume algunhas estatísticas xerais dunha análise exploratoria preliminar dos conxuntos de datos en inglés e casteláns descritos antes.
Procesamos previamente cada biografía usando un paquete R de minería de texto tm Feiner et al. ( 2008 ). A eliminar as biografías das palabras baleiras (palabras comúns que normalmente non aportan información útil para a análise) Eisens-
4 [LINK-REDACTED] 5 [LINK-REDACTED]
Táboa 5.1 Número total e media que describe os conxuntos de datos en inglés e español.
Dataset Descrive statics Value
Total number of biographies of female authors 500 Avg. number of distinct termos per female writer biography 50,86
Avg. number of distinct termos per female writer biography (stemming) 38,11
English
Total number of biographies of male authors 500 Avg. number of distinct terms per biography of male writer 46,2
Avg. number of distinct termos per male writer biography (stemming) 35,62
Total number of biographies of female authors 416 Avg. number of distinct termos per female writer biography 50,03
Avg. number of distinct termos per female writer biography (stemming) 31,44
Spanish
Total number of biographies of male authors 416 Avg. number of distinct terms per male writer biography 51,39
Avg. number of distinct termos per male writer biography (stemming) 32,68
tein ( 2019 ), números, signos de puntuación e espazos en branco. Máis tarde, o texto de cada biografía convértese a minúsculas e créase a matriz termo- biografía correspondente, como se presenta na táboa 5.2. Deste xeito, cada conxunto biográfico pódese representar como unha matriz m xuxy n, onde m é o número de termos únicos no dicionario e n é o número de biografías no conxunto de adestramento. Cada elemento wix da matriz termo- biografía representa a importancia ou o peso do termo i na biografía x. Para obter o valor de wi j utilizamos a medida TF- IDF Aizawa ( 2003 ), calculada como ( 5.5 ):
!, ( 5.5 )
wij = t fi x logn
d fi
onde se denota o número de repeticións do termo i na biografía x; n é o número total de biografías do conxunto de prácticas; e, finalmente, d fi é o número de biografías nas que aparece o termo i.
Cabe sinalar que só as biografías de adestramento contribúen á construción do dicionario de termos que representa todas as biografías. É dicir, cando o clasificador comproba novas biografías sobre o subconxunto de proba, cal-
Táboa 5.2: Exemplo de matriz termo- biografía, onde wij representa a importancia do termo i na entrada biográfica x.
Dictionary Biography 1 Biography 2... Biography n
University w11 w12... w1n Marriage w21 w222... w2n Novel w31 w32... w3n........................ Writer wm1 wm2... wmn
quier termo non atopado nas biografías do conxunto de adestramento ignorarase para o cálculo da distancia. Asimismo, no noso estudo non se consideraron sinónimos, abreviaturas ou formas alternativas para un termo determinado.
5.3.4 Resultados
Nesta sección preséntanse os resultados de experimentos que comparan diferentes estratexias para a identificación de xénero en textos. Os experimentos de cada algarismo de clasificación implican dez ensaios de divisións de proba de adestramento escollidas aleatorias. Co obxecto de poder respaldar os resultados, foron feitos tests de hipótese estatísticos de Wilcoxon Hollander et al. ( 2013 ), considerando a significancia estatística para valores de p inferiores a 0, 05.
GSVM Versus estándar SVM
As seccións seguintes resumos dos resultados dos experimentos de avaliación que comparan GSVM con SVM estándar no problema da identificación do texto.
Comparación do número de iteracións: GSVM versus SVM estándar
A táboa 5.3 compara o relato de iteracións para GSVM e un SVM típico empregando o criterio de parada clásico. É claro que, en media, para o conxunto de datos en español, GSVM converte aproximadamente 18 % (con derivados) e 25 % (sen derivados) menos iteracións que o foco SVM estándar. Á súa vez, para o conxunto de datos dispoñíbel en inglés, GSVM permítelle reducir o número de iteracións aproximadamente 42 % (con derivados) e 44 % (sen derivados). Os grandes valores na desviación estándar para GSVM son unha consecuencia de que ambos enfoques acadan o número máximo de iteracións para algúns experimentos, enténdase como o número de iteracións do enfoque SVM estándar.
O test de Willcoxon sobre o conxunto de datos dispoñíbeis en inglés mostra que a mellora de GSVM sobre SVM é estatísticamente significativa, tanto cando se apli-
ca o stemming (valor p = 0,00195 ) como cando non se aplica (valor p = 0,00589 ). Se observamos o caso das biografías en español, a mellora é estatísticamente significativa cando non se inclúe o stemming (valor p = 0,00195, pero non é significativa cando se utiliza o stemming (valor p = 0,1 ).
Táboa 5.3: Promedio (prom.) e desviación estándar (d.) do reconto de iteracións nas etapas de adestramento.
Language Method Stemming Non stemming
avg. s.d. p-value avg. s.d. p-value
Spanish SVM 357,500 10,445 0,1 395,100 10,105 0,00195 GSVM 294,100 89,709 293,000 49,844
English SVM 612,000 16,855 0,00195 614,600 7,394 0,00589 GSVM 359,000 10,220 349,500 69,100
As figuras 5.3 a, 5.3 b, 5.4 a y 5.4 b mostran gráficamente, para cada experimento, en que conto de iteracións GSVM e SVM estándar detén a súa execución de adestramento, respectivamente. O criterio de detención de GSVM detecta o instante no que o indicador da taxa de erro estabilízase (liña de puntos) sempre. Pola contra, o criterio de detención SVM clásico require un maior número de iteracións para deterse sen fornecer ningunha mellora da taxa de erro.
Debe destacarse que o desempeño do criterio de parada de GSVM para biografías en inglés sexa semellante, independentemente de se se se aplica ou non o preprocesamento de lematización (ver Figuras 5.3 b y 5.4 b). Outro achazgo notable é que a taxa de erros para biografías en español (ver Figuras 5.3 a y 5.4 a) exhibe un patrón oscilante cando se aplica o preprocesamento de derivación (Figura 5.4 a). Este comportamento pode ser a unha perda significativa de información introducida pola operación de derivación desta lingua.
Finalmente debe mencionarse, que os métricas de avaliación son moi similares, en todos os casos, para as etiquetas de saída knotfeminino holandés e knotmasculino Ámbas as dúas linguas.
Comparación da precisión de GSVM vs. SVM estándar
Co obxectivo de avaliar o rendimento da técnica de SVM estándar co GSVM observamos os métricass de precisión, recall e puntuación F1 Baeza- Yates e Ribeiro-Neto ( 2011 ); Sokolova e Lapalme ( 2009 ); Olson e Delen ( 2008 ). A táboa 5.4 mostra unha comparación de SVM e GSVM para biografías en inglés, con e sen derivación. Para cada método e métrica, esta táboa mostra a media (avg.) e desviación estándar (s.d). Ademais, móstrase o valor p do test de Wilcoxon por cada comparación. Os resultados da proba de Wilcoxon indican que non hai diferenzas estatísticamente significativas para ningunha das métricas consideradas, tal e como se indica na columna do valor p, onde todos os valores son maiores que 0,05.
(a) Spanish language
(b) English language
Figura 5.3 Sen derivación. Comparación dos criterios de parada no caso de non usar o preprocesamento de derivación.
Os resultados expostos nas táboas 5.4 y 5.5 mostran empíricamente que para os problemas de identificación de xénero de texto, as técnicas de GSVM herdan as mesmas propiedades das de SVM, dando resultados de precisión semellantes.
A táboa 5.5 mostra unha comparación de SVM e GSVM para biografías en español, con e sen derivación. Novamente, para cada método e métrica, esta táboa mostra a media (avg.), a desviación estándar (s.d.) e os valores ps da proba de Wilcoxon. De xeito similar ás biografías en inglés, os resultados da proba de Wilcoxon indican que non hai diferenzas estatísticamente significativas para ningunha das métricas (os valores son maiores que 0.05 ). Como consecuen-
(a) Spanish language
(b) English language
Figura 5.4: Comparación dos criterios de detención cando se aplica o preprocesamento da derivación.
Táboa 5.4 Inglés. Métricas de rendemento de SVM e GSVM para biografías en clasificación en inglés, con e sen derivación.
Stem. Gender Method Precision Recall F1 score
avg. (s.d.) p- calue avg. (s.d.) p- avg. (s.d.) p- avalue
Non Female SVM 0,919 ( 0,038 ) 0,812 0,873 ( 0,011 ) 0,188 0,895 ( 0,021 ) 0,438 GSVM 0,908 ( 0,039 ) 0,859 ( 0,093 ) 0,879 ( 0,049 )
Male SVM 0,865 ( 0,018 ) 0,63 0,917 ( 0,031 ) 1 0,889 ( 0,014 ) 1 GSVM 0,823 ( 0,205 ) 0,909 ( 0,036 ) 0,843 ( 0,159 )
Yes Female SVM 0,911 ( 0,044 ) 0,812 0,879 ( 0,018 ) 0,0625 0,894 ( 0,027 ) 0,312 GSVM 0,880 ( 0,049 ) 0,898 ( 0,036 ) 0,888 ( 0,031 )
Male SVM 0,873 ( 0,018 ) 0,125 0,910 ( 0,036 ) 1 0,891 ( 0,017 ) 0,438 GSVM 0,899 ( 0,036 ) 0,884 ( 0,035 ) 0,891 ( 0,020 )
cia, a caída no número de iteracións logradas por GSVM non afecta a precisión de
a clasificación.
Táboa 5.5: castel. Métricas de rendemento de SVM e GSVM para biografías en clasificación en español, con e sen derivación.
Stem. Gender Method Precision Recall F1 score
avg. (s.d.) p- calue avg. (s.d.) p- avg. (s.d.) p- avalue
Non Female SVM 0,929 ( 0,028 ) 1 0,918 ( 0,019 ) 0,0625 0,923 ( 0,014 ) 0,625 GSVM 0,909 ( 0,065 ) 0,907 ( 0,093 ) 0,903 ( 0,042 )
Male SVM 0,913 ( 0,034 ) 0,188 0,929 ( 0,020 ) 1 0,920 ( 0,018 ) 0,188 GSVM 0,889 ( 0,140 ) 0,913 ( 0,057 ) 0,891 ( 0,079 )
Yes Female SVM 0,751 ( 0,092 ) 0,0625 0,810 ( 0,072 ) 0,0625 0,773 ( 0,040 ) 0,625 GSVM 0,770 ( 0,177 ) 0,781 ( 0,139 ) 0,747 ( 0,079 )
Male SVM 0,809 ( 0,115 ) 0,0625 0,768 ( 0,054 ) 0,125 0,780 ( 0,054 ) 0,0625 GSVM 0,724 ( 0,251 ) 0,790 ( 0,105 ) 0,713 ( 0,155 )
A táboa 5.6 mostra para GSVM unha comparación entre a derivación e a non derivación, xunto cos valores p correspondentes. Para as biografías en español, os resultados mostran unha degradación significativa cando se inclúe a derivación, con valores p 0, 0097, 0, 00586 y 0, 00195, para precisión, recall e puntuación F1, respectivamente, no xénero feminino; e valores p de 0, 0137, 0, 00195 y 0, 00195, para precisión, recall e puntuación F1, respectivamente, no xénero masculino. En troques, para as biografías en inglés, os valores p para todas as métricas superan o nivel de significación de 0,05, o que indica a ausencia dun efecto significativo.
Táboa 5.6: Comparación de métricas de rendemento da derivación versus a non derivación cando se aplica o método GSVM.
Language Gender Stem Precision Recall F1 score
avg. p-value avg. p-value avg. p-value
Spanish Female No 0,909 0,0097 0,907 0,00586 0,903 0,00195 Yes 0,770 0,781 0,747
Male No 0,889 0,0137 0,913 0,00195 0,891 0,00195 Yes 0,724 0,790 0,713
English Female No 0,908 0,343 0,859 0,124 0,879 1 Yes 0,880 0,898 0,888
Male No 0,823 0,108 0,909 0,286 0,843 0,636 Yes 0,899 0,884 0,891
GSVM vs. outros algoritmos
Nesta subsección compararase o rendemento e o tempo de adestramento do método GSVM con outros métodos de aprendizaxe automática, como, Random Forests (RF) Briman ( 2001 ) e Boosting Schapire ( 1990, procedentes de bibliotecas de software comúns. Nestas probas, os hiperparámetros dos algoritmos fíxanse nos valores predeterminados. Para cada algoritmo e lingua, comparamos dous fluxos de traballo de minaría de texto alternativos para cada métrica: i) inclúen un paso de derivación, como na maioría dos programas de minería de texto convencionais; e ii) evitan a derivación, conservando os afixos que fornecen información adicional de xénero nalgúns idiomas. Usamos o tempo como métrica
de comparación, dado que non hai posibilidade de comparar de xeito xusta os recontos de iteracións, xa que a implementación de cada método segue un enfoque de iteración diferente.
Comparación do tempo de adestramento: GSVM verus outros algoritmos
A táboa 5.7 resume o tempo de execución (en segundos) para todas as versións dos algoritmos empregados nesta investigación. A usar a derivación do idioma español, GSVM é, en media, até 10,05 veces máis rápido que o método Boosting e 42,87 veces máis rápido que RF, mentres que, para o inglés, GSVM é, en media, até 15,79 veces máis rápido que Boosting e 59,15 Ás veces máis rápido que RF. Cando non se aplica derivación, para a lingua español, GSVM é, en media, até 49,63 veces máis rápido que Boosting e 81,00 Ás veces máis rápido que RF. En canto ao inglés, GSVM é, en media, ata 22,91 veces máis rápido que Boosting e 77,70 Ás veces máis rápido que RF. En resumo, con base na proba de Wilcoxon realizada, a columna de valor p indica unha diferenza estatística entre os métodos, o que demostra que o tempo de adestramento de GSVM é consistentemente menor que nos outros métodos.
Táboa 5.7: Media (avg.) e desviación estándar (s.d.) do tempo de adestramento.
Language Method Stemming Non stemming
avg. (s.d.) p- calue avg. (s.d.) p- valor
Spanish GSVM 3,096 ( 0,460 ) 2,889 ( 0,150 ) Boosting 31,110 ( 1,001 ) 0,002 143,370 ( 289,894 ) 0,002 RF 132,718 ( 46,366 ) 0,002 234,024 ( 71,339 ) 0,002
English GSVM 3,799 ( 0,074 ) 3,883 ( 0,525 ) Boosting 59,978 ( 6,650 ) 0,002 88,976 ( 18,596 ) 0,002 RF 224,732 ( 17,882 ) 0,002 301,715 ( 6,568 ) 0,002
Comparación de precisión: GSVM versus outros algoritmos
Dado que a derivación non semella ser significativa ao procesar biografías en inglés, por razóns de espazo, centremos o resto da nosa análise nas biografías en español. A táboa 5.8 mostra unha comparación de derivación versus non derivación, e os valores p correspondentes, para GSVM, Boosting e Random Forest. GSVM obtén resultados moi prometedores, especialmente cando non se utiliza derivación, con precisión, recall e puntuación F1 por riba do 90 % na maioría dos casos, aínda que Boosting e Random Forest melloran principalmente os resultados de GSVM. Feito, que constata que ambas as dúas técnicas pertencen aos coñecidos como métodos de conxunto (Sagi e Rokach, 2018 ). Ao adestrar varios modelos e integrar as súas predicións, estes métodos melloran o rendemento predictivo dun só modelo. Cabe destacar que, dado que GSVM se comporta como unha SVM estándar en termos de precisión, estes resultados demostran a importancia da derivación fronte á non derivación en linguas como o español. Esta técnica de preprocesamento tamén
afecta aos resultados que se obterían empregando outros tipos de clasificadores.
Ademais, os valores da táboa 5.8 mostra unha degradación significativa no rendemento de todos os algoritmos cando se aplica a derivación. Estes resultados mostran consistentemente que para a lingua español, sen derivación, a precisión, a recuperación e a puntuación F1 son superiores ao 90 % na maioría dos casos, mentres que ao usar derivación produce un redondeo de degradación do 15 %.
Táboa 5.8: Métricas de precisión para métodos sobre biografías en español.
Method Gender Stem Precision Recall F1 score
avg. (s.d.) p- calue avg. (s.d.) p- avg. (s.d.) p- avalue
GSVM Female No 0,909 ( 0,065 ) 0,00977 0,907 ( 0,093 ) 0,00586 0,903 ( 0,042 ) 0,00195 Yes 0,770 ( 0,177 ) 0,781 ( 0,139 ) 0,747 ( 0,079 )
Male No 0,889 ( 0,140 ) 0,0137 0,913 ( 0,057 ) 0,00195 0,891 ( 0,079 ) 0,00195 Yes 0,724 ( 0,251 ) 0,790 ( 0,105 ) 0,713 ( 0,155 )
Boosting Female No 0,944 ( 0,018 ) 0,00195 0,938 ( 0,017 ) 0,00195 0,941 ( 0,012 ) 0,00195 Yes 0,769 ( 0,044 ) 0,694 ( 0,037 ) 0,729 ( 0,022 )
Male No 0,936 ( 0,020 ) 0,00195 0,943 ( 0,015 ) 0,00195 0,939 ( 0,011 ) 0,00195 Yes 0,655 ( 0,038 ) 0,736 ( 0,053 ) 0,691 ( 0,027 )
RF Female No 0,957 ( 0,016 ) 0,00195 0,970 ( 0,022 ) 0,00195 0,963 ( 0,011 ) 0,00195 Yes 0,816 ( 0,046 ) 0,790 ( 0,065 ) 0,800 ( 0,037 )
Male No 0,971 ( 0,021 ) 0,00195 0,956 ( 0,020 ) 0,00195 0,963 ( 0,012 ) 0,00195 Yes 0,779 ( 0,066 ) 0,806 ( 0,048 ) 0,789 ( 0,036 )
5.4 Conclusións
Nesta sección, consideramos algunhas explicacións para as diferenzas detectadas no desempeño de identificación de xénero e estas reflexionan sobre posíbel limitacións no noso traballo.
5.4.1 Comparación de algoritmos de clasificación
Os resultados suxiren que o control do programa de Stemming na preparación de datos textuais, os métricas de rendemento son bastante semellantes, independentemente do algoritmo de aprendizaxe automática seleccionado para a clasificación. Porén, hai diferenzas dependendo da linguaxe empregada.
Como resultado, podemos concluír que os algoritmos de clasificación de aprendizaxe automática para a identificación de xénero poden verse directamente afectados polos sufixos presentes nos conxuntos de datos usados para adestrar os algoritmos. Os nosos resultados confirman que o preprocesamento de Stemming, un método que aparentemente simplifica o problema de clasificación, pode introducir a confusión de xénero para resolver o problema en cuestión.
5.4.2 Impacto da eliminación de stemming
Un dos obxectivos principais do marco proposto é explorar se a retención de elementos morfolóxicos que conteñen información de xénero nalgunhas linguas, como o español, poden fornecer un rendemento de clasificación superior para a identificación de xénero no texto. De acordo cos resultados presentados nas táboas 5.6 y 5.8, hai un incremento bastante notable no rendemento de clasificación en español para os algoritmos considerados nos nosos experimentos cando o paso de derivación se elimina do proceso de preparación de datos.
Pola contra, os resultados do idioma inglés indican unha variación mínima na métrica de puntaxe de F1 entre a aplicación Stemming ou non no proceso de preparación de datos para calquera algoritmo de clasificación. Esta linguaxe ten resultados semellantes á precisión e os métricas de rendemento do recall.
De xeito global, estes resultados respaldan a nosa consideración inicial que evitar a aplicación do Stemming pode afectar positivamente a identificación de xénero nos textos cando o contido está dispoñíbel en linguas que fornecen detalles morfolóxicos adicionais que traen información de xénero, como o español. Confirmando o coñecemento obtido en investigacións previas sobre a importancia da fase de preparación dos datos, sobre todo se traballa con linguas diferentes do inglés e Gunal ( 2014 ).
5.4.3 Limitacións
O novo método GSVM que introduce un criterio de detención cedo para a fase de adestramento funciona ben para o problema específico da identificación de xénero de texto. Polo tanto, deben ser realizados experimentos adicionais para avaliar o rendemento de GSVM noutras tarefas de clasificación antes de recomendar GSVM como unha innovación metodolóxica xeral de SVM na aprendizaxe automática.
En canto ao marco proposto para a identificación de xénero de texto, unha limitación importante do noso entorno experimental é que circunscribimos a variábel de xénero obxectivo a unha escolla binaria. Problema presentado por outros autores Hamidi et al. ( 2018 ); Keyes ( 2018 ). De feito, ela encontrou que 55 de 58 estudos para a identificación automática de xénero con aprendizaxe automática asumiron unha saída de xénero binaria. Neste sentido, unha posible ruta para futuras investigacións podería ser substituír os nosos algoritmos de clasificación binaria cunha alternativa como poderías ser modelos de aprendizaxe automática que soportan obxectivos continuos e/o multivariantes. En tales contextos, sería interesante avaliar se os sufixos de xénero aínda fornecen algunhas vantaxes para a identificación de xénero.
Outra limitación do noso enfoque é que o texto de entrada pode non estar dispoñíbel nunha lingua fortemente inflexionada, diferente do inglés. Porén, nese caso, o texto podería traducirse automaticamente de inglés a español ou outras linguas con propiedades semellantes a través de Servizos automatizados. Esta versión traducida do texto de entrada pode fornecer datos de xénero adicional que permite optimizar o rendemento da clasificación. Do mesmo xeito, precisa máis investigación para confirmar que estes resultados iniciais que comparan inglés e español son replicables coa entrada de datos en linguas alternativos.
5.4.4 Innovación
Nesta investigación, presentamos un novo criterio de detención para os algoritmos de optimización de vectores de soporte baseados nas propiedades xeométricas da representación vectorial do contido de texto co obxectivo de resolver o problema da identificación de xénero automatizado. Para este problema en particular, amosamos que o algoritmo proposto require menos tempo para o adestramento se o comparamos coa aplicación de algoritmos SVM estándar. Con respecto ao marco, no canto de seguir os procedementos de normalización convencionais na minaría de texto que eliminan os afixos de xénero, como a derivación, conservamos eses elementos morfolóxicos encontrados en linguaxes fortemente inflixidos coa fin de optimiza o rendemento dos métodos de identificación de xénero. Avaliamos a efectividade deste novo enfoque en termos de capacitación comparando diferentes algoritmos de aprendizaxe automática para a clasificación, usando un conxunto de datos de entradas biográficas de DATASET-TH-001 en inglés e español.
Os nosos resultados suxiren que evitar a derivación (stemming) no preprocesado do texto para linguas adicionais que inclúen información de xénero, como o español, é positivo. Esta mudanza de procedemento non afecta a outra lingua neutrais como o Inglés.