Trasfhoirmeoir (ailtireacht domhainfhoghlama)
| Foireann | |
|---|---|
| Forbróir(í) | Google Brain, Ashish Vaswani agus Noam Shazeer |
Is éard is trasfhoirmeoir ann ná ailtireacht domhainfhoghlama, bunaithe ar an gcoincheap tábhachtach sa mheaisínfhoghlaim ar a dtugtar “aird” (Béarla: attention) a bhí molta sa bhliain 2017 i bpáipéar eolaíochta dar teideal "Attention Is All You Need".[1] Níl aon aonad athfhillteach ann, agus mar sin teastaíonn níos lú ama traenála uaidh ná mar a bhí i gcás ailtireachtaí néaracha athfhillteacha a bhí chun tosaigh sna 2010idí, ar nós cuimhne fhada ghearrthéarmach. Sa lá atá inniu ann, úsáidtear an trasfhoirmeoir go forleathan chun ollsamhlacha teanga a thraenáil, ag baint úsáide as corpais mhóra téacs, mar shampla corpas na Vicipéide nó an Common Crawl. Roinntear an téacs ionchuir ina n-ghramanna atá ionchódaithe mar théacschomharthaí agus tiontaítear gach téacschomhartha ina veicteoir trí thábla leabaithe focal a cheadú. Sa pháipéar a thug an trasfhoirmeoir in 2017, baineadh úsáid as an meicníocht airde softmax a mhol Bahdanau et. al. in 2014 i gcomhthéacs an ríomhaistriúcháin, agus an Fast Weight Controller, ailtireacht cosúil leis an trasfhoirmeoir, a moladh in 1992.
Cosúil le líonraí néaracha athfhillteacha (LNA nó RNN i mBéarla), deartar trasfhoirmeoirí chun sonraí seicheamhacha a phróiseáil, amhail teanga nádúrtha, le feidhmchláir ar thascanna ar nós ríomhaistriúcháin agus achoimriú téacs. Murab ionann agus LNAcha, áfach, próiseálann trasfhoirmeoirí an t-ionchur iomlán ar fad ag an am céanna. Soláthraíonn an mheicníocht airde comhthéacs d’aon suíomh sa seicheamh ionchurtha. Mar shampla, i gcás teanga nádúrtha, ní gá don trasfhoirmeoir aon fhocal amháin a phróiseáil sa mhullach ar fhocal eile. Ceadaíonn sé seo comhthreomhaireacht níos mó ná LNAcha agus dá bhrí sin laghdaítear amanna traenála.[1]