美术馆之梦

梦的存在使生命多了维度
美术馆中的油画记录下了无数经典瞬间
计算机深度学习这些油画产生了美术馆梦境


AI部分

核心算法运用了 StyleGAN (NVlabs) 随机训练了十万张油画 生成了用来驱动整个方块引擎的原始影像
这部分数据用到 GeneKogan 的模型 WikiArt 在此致敬





方块引擎 (实时渲染)

虽然每个方块的初始动力和色彩来源于StyleGAN训练出的原始影像
但是使其无限游走和生长的四维SimplexNoise算法是方块引擎的核心部分
此次将WebGL版移植到Unity3D中
详情见此




音乐

来自 Marconi Union 在此致敬

交互

除了数据可视化的呈现 用户在场景中的行走和触摸都会影响引擎的流动变化从而也使得场景中的画面和人产生互动
使得画面永远不会重复的生长下去



背景

为了能够长期安全稳定的呈现这个空间

系统部分
前期测试过几套第三方的中控播控系统但都无法支持扩展自己的引擎以及数据传输
索性自己开发了一套用于多台渲染主机实时同步渲染的系统
为了能长期安全稳定 我直接用自己的sint.js引擎开发了整套中控播控系统 包括服务器端和iPad控制端
实现了日常工作人员在ipad端无线控制所有设备的开关(机房多台服务器,场馆中15台投影机,以及传感器和灯)
以及ipad端对场景画面的实时调节(流速,色彩,形状,互动系数) 以及音量调节
安全隔离了机房设备
这过程中引用到了很多大神和机构的开源库 再次致敬 NVlabs,keijiro,stefan,pissang,robotconscience

设计部分
这次还是硬着头皮完成这个作品的所有设计
不专业的手稿,施工图,尴尬的UI设计,流程设计和动画,简陋的视频剪辑和作品描述,望见谅,期待大神相救



呈现


现场花絮


测试画面





关于我: WaterTian