Здравейте! Като доставчик на трансформатори често ми задават следния въпрос: Може ли трансформатор да се използва за обработка на изображения? Е, нека се поразровим в тази тема и да разберем.
Първо, когато повечето хора мислят за трансформатори, те вероятно си представят онези големи електрически устройства, които виждате на телефонни стълбове или в електрически подстанции. Например, имаме167 KVA Трансформатор за телефонен стълби на400 KVA сух трансформатор, които са проектирани да управляват разпределението на електрическа енергия. Това са хлябът и маслото на електрическата индустрия, повишаващи или понижаващи напрежението, за да посрещнат различни нужди от енергия.
Но в света на AI и обработката на изображения терминът "трансформатор" има съвсем различно значение. Архитектурата Transformer, представена за първи път в статията „Вниманието е всичко, от което се нуждаете“ през 2017 г., направи революция в обработката на естествен език (NLP). Той използва механизъм, наречен самостоятелно внимание, за по-ефективна обработка на последователни данни.
И така, можем ли да използваме този вид трансформатор за обработка на изображения? Краткият отговор е да! И ето как.
Как трансформаторите са адаптирани за обработка на изображения
Изображенията са коренно различни от текста. Текстът е последователни данни, където думите следват една след друга. Изображенията, от друга страна, са 2D (или 3D в някои случаи) масиви от пиксели. За да използваме Transformer за обработка на изображения, трябва да конвертираме данните за изображението във формат, който Transformer може да разбере.
Един често срещан подход е да разделите изображение на малки части. След това всеки пластир се сплесква в 1D вектор. След това тези вектори се подават в модела на трансформатора като последователност, точно като думи в изречение. Например, ако имаме изображение с висока разделителна способност, можем да го разделим на мрежа от малки квадратни петна. Всеки пластир представлява малка част от изображението и трансформаторът може да научи връзките между тези пластири.
Нека поговорим за някои от предимствата на използването на Transformers за обработка на изображения.
Предимства от използването на трансформатори при обработка на изображения
Разбиране на глобалния контекст
Традиционните конволюционни невронни мрежи (CNN), които дълго време се използват за обработка на изображения, имат локално възприемчиво поле. Това означава, че те се фокусират главно върху малък квартал от пиксели наведнъж. За разлика от тях, Transformers могат да уловят глобалния контекст. Те могат да видят цялото изображение наведнъж и да разберат връзките между различните части на изображението. Това е наистина полезно за задачи като откриване на обекти и сегментиране на изображения, където разбирането на контекста на цялото изображение е от решаващо значение.
Гъвкавост
Трансформаторите са по-гъвкави от CNN. Те не разчитат на твърдо кодирани конволюционни операции. Това означава, че те могат да се адаптират по-добре към различни типове изображения и задачи. Например в някои случаи дадено изображение може да има неправилни форми или шарки, които CNN трудно могат да обработват. Трансформаторите потенциално могат да научат тези сложни модели по-лесно.
Трансферно обучение
Точно както в НЛП, трансформаторите в обработката на изображения могат да се възползват от трансферното обучение. Предварително обучени трансформаторни модели върху големи набори от данни за изображения могат да бъдат фино настроени за специфични задачи с относително малки количества данни. Това спестява много време и изчислителни ресурси.
Примери за базирани на трансформатор модели за обработка на изображения
Визуален трансформатор (ViT)
Vision Transformer беше един от първите модели, които показаха, че Transformers могат да бъдат конкурентни в задачите за класификация на изображения. Той разделя изображение на кръпки, добавя позиционни вграждания, за да посочи позицията на всяка кръпка в изображението, и след това подава тези кръпки в стандартен енкодер на Transformer. Въпреки своята простота, ViT постигна най-съвременни резултати при няколко показателя за класификация на изображения.
Swin Transformer
Swin Transformer въведе йерархична архитектура. Започва с обработка на малки кръпки на фино ниво и след това постепенно агрегира информация, за да улови контекст в по-голям мащаб. Този йерархичен подход го прави по-ефективен за задачи като откриване на обекти и семантично сегментиране.
Предизвикателства при използването на трансформатори за обработка на изображения
Изчислителни разходи
Трансформаторите могат да бъдат скъпи от изчислителна гледна точка, особено когато се работи с изображения с висока разделителна способност. Тъй като те трябва да изчислят самостоятелно внимание за всички двойки пачове, изчислителната сложност нараства квадратично с броя на пачовете. Това означава, че изпълнението на модел на Transformer върху голямо изображение може да изисква много памет и процесорна мощност.
Липса на индуктивно отклонение
CNN имат някои вградени индуктивни отклонения, като инвариантност на превода. Това означава, че те могат да обобщават по-добре невиждани изображения. Трансформаторите, от друга страна, нямат тези пристрастия. Те трябва да научат всичко от данните, което понякога може да доведе до пренастройване, особено когато наборът от данни е малък.
Нашата роля като доставчик на трансформатори
Като доставчик на трансформатори, ние не се занимаваме само с електрически трансформатори. Ние също така следим най-новите тенденции в света на AI Transformer. Ние разбираме, че търсенето на по-мощен и ефективен изчислителен хардуер за управление на тези AI модели нараства. Ето защо ние непрекъснато проучваме начини да оптимизираме нашите продукти, за да поддържаме изчислителните нужди на тези усъвършенствани модели за обработка на изображения.
Например нашатаПотопен в масло трансформатор с ниски загубиможе да осигури стабилно и ефективно захранване за центрове за данни, които управляват тези широкомащабни AI модели. Ние знаем, че надеждният източник на захранване е от решаващо значение за работата на сложни алгоритми за обработка на изображения без прекъсвания.
Заключение
В заключение, Transformers определено може да се използва за обработка на изображения. Те предлагат уникални предимства по отношение на разбирането и гъвкавостта на глобалния контекст, но също така идват с предизвикателства като високи изчислителни разходи и липса на индуктивно отклонение. Тъй като полето на AI и обработката на изображения продължава да се развива, ние сме развълнувани да видим как Transformers ще бъдат допълнително подобрени и интегрирани в различни приложения.
Ако се занимавате с обработка на изображения или друга свързана област и търсите надеждни трансформатори (или електрически, или за изчислителните нужди на вашите AI модели), не се колебайте да се свържете с нас за обсъждане на обществената поръчка. Ние сме тук, за да ви помогнем да намерите най-добрите решения за вашите специфични изисквания.
Референции
- Vaswani, A., Shazer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, An, ... & Polosukhin, I. (2017). Вниманието е всичко, от което се нуждаете. Напредък в системите за обработка на невронна информация.
- Досовицки, А., Бейер, Л., Колесников, А., Вайссенборн, Д., Джай, X., Унтертинер, Т., ... и Хоулсби, Н. (2020). Едно изображение струва 16x16 думи: Трансформатори за разпознаване на изображения в мащаб. arXiv предпечат arXiv:2010.11929.
- Liu, Z., Lin, Y., Cao, Y., Hu, H., Wei, Y., Zhang, Z., ... & Guo, B. (2021). Трансформатор Swin: Трансформатор на йерархично виждане, използващ изместени прозорци. arXiv предпечат arXiv:2103.14030.