微软亚洲Teams资深工程总监Dan Stevenson在亚太技术年会中,首度揭露了开发中的新版Teams开发者入口网站,内部代号Hudy(It Help You Coding的缩写),内建了UI辅助设计NLP,能自动生成Teams应用外挂的UI设计建议,还可以将这些建议复制到设计工具中快速产生UI介面程式。
不只可以用AI辅助程式码编写,还有可能自动生成UI设计图
除了越来越多开发者采用的GitHub Copilot之外,微软也针对非技术人员,推出了无程式码开发平台Power Apps Copilot,可以协助业务人员生成报表工具。最近,微软进一步开发了辅助UI设计的NLP助手Hudy。使用者下达「你是一个微软Teams应用程式开发人员」,并给予特定情境设想,就会生成详细的UI页面设计建议叙述(scenarios),甚至可以会建议哪些App功能该用Chatbot形式,而哪些功能该用页签(Tab)形式呈现更好用,连按键位置的设计建议都有。使用者还可以将这些UI设计建议,复制到一款微软内部正在开发的UI生成式设计工具Appcraft ai雏形,经过约30到45秒就能自动生成近百张的UI设计图,可作为开发Teams应用的UI介面参考。
Dan Stevenson表示,Hudy使用了许多应用程式功能规格的训练资料,包括许多开放语料,也包括了数百款Teams应用程式的UI设计资料,可以生成Teams app所支援的各种功能的UI介面。他展示了即时生成UI设计建议的操作影片,大概只需要20秒就能生成。Dan Stevenson提到,Hudy未来会成为正式产品,但Appcraft ai仍处於内部研究阶段,还不确定是否成为正式产品。
企业内部Teams App也有生成式AI开发包
除了生成UI的辅助,微软也提供了一套Teams应用的生成式Ai函式库,Dan Stevenson表示,这个Teams AI函式库是一个软体开发工具包,包括了对话式AI、提示语管理和安全审查等元件,开发人员可以针对指令和回应进行模型微调(fine tune),在企业自制的Teams应用中整合AI。
鼎恒数位科技营运长游舒帆就展示了使用Teams AI函式库优化自家产品的例子。MAYO有款视讯面试软体Lasso正是运用Teams AI函式库,来识别面试者的语速、声音表情和反应情绪,藉此判断面试者是否适合担任某种职务角色。下一步,他们计画藉由这项工具开发出能指出企业管理问题的报表工具。