Изкуствен интелект на Microsoft създава уеб сайтове от скици

Изследователи от Microsoft Azure създадоха софтуерен инструмент, който преобразува скици на потребителски интерфейси в HTML код с помощта на изкуствен интелект. Новата услуга Sketch2Code може да опрости процеса на разработка на уеб страници, като разчита идеята за дизайна, нахвърляна на лист хартия или на черната дъска.

Sketch2Code използва облачната услуга Microsoft Azure, а изходният код на софтуерния инструмент е публикуван под свободен лиценз в Github – най-голямата уеб услуга за хостинг и съвместна разработка на ИТ проекти, която корпорацията от Редмънд придоби по-рано тази година.

Как работи услугата? Преобразуването на рисунката в код се изпълнява на пет стъпки. На първата от тях потребителят зарежда снимка на скицата на интерфейса в облака на Azure. След това технологията за компютърно зрение се опитва да разпознае какви именно HTML елементи е изобразил потребителят и техните координати.

На следващ етап технологията открива текста в по-рано разпознатите елементи, а алгоритъмът за оформлението използва пространствена информация за всички гранични елементи, за да генерира мрежа, в която да се вместят. Механизмът за генериране на код използва всички събрани данни, за да създаде като краен резултат HTML-а на дизайна.

Ключов елемент от системата се явява моделът за компютърно зрение на Microsoft, който е обучен предварително да „дешифрира” ръчно нарисувани скици на уеб страници с указания за най-разпространените HTML елементи от рода на бутони, полета за въвеждане на текст, изображения и др.

Цялата информация, получавана от потребителя или генерирана от системата в процеса на конвертиране на скиците, вкл. изображения, резултати от разпознаването (предсказването) на елементите и данните за тяхното групиране, се съхраняват в облака Azure във вид на т.нар. BLOB (големи двоични обекти). Azure Function играе ролята на диригент, който координира работата на модулите на системата за генериране на код.

Microsoft се опитва не само да застави изкуствения интелект да преобразува човешка творческа дейност в разбираема от компютрите форма, но и да обучи машините на самостоятелна дейност. Така например, по-рано този месец компанията обучи популярния в Азия чатбот XiaoIce да пише китайска поезия на базата на показани изображения.

За целта Microsoft е създала невронна мрежа от две части: едната разпознава изображение и генерира стихотворение, а другата го оценява. Ако от гледна точка на алгоритъма резултатът е добър, стиховете се показват на човека и той ги проверява. При необходимост параметрите се пренастройват дотогава, докато стихотворението не бъде одобрено – по този начин системата се самообучава и усъвършенства.