漫画汉化组,不用手动抹掉原文了:开源AI一键擦除,还能修复背景
![](http://n.sinaimg.cn/sinakd10211/360/w180h180/20210507/8aba-kpuunnc0562323.jpg)
捕捉翻倍美股
原标题:漫画汉化组,不用手动抹掉原文了:开源AI一键擦除,还能修复背景 来源:量子位
关注前沿科技 量子位
栗子 发自 凹非寺
量子位 报道 | 公众号 QbitAI
![](http://k.sinaimg.cn/n/sinacn20190822s/92/w571h321/20190822/8acf-icqznfz6153103.jpg/w700d1q75cms.jpg?by=cms_fixed_width)
漫画汉化组,和动画字幕组,表面看都是翻译,可工作还是很不一样的。
比如,日文动画生肉一般没有加字幕,而漫画原本就充满了文字。
所以,漫画的汉化组,要先把原文抹掉,才能贴上中文。
需要抹掉的,不只气泡里的对话,还有背景里的旁白,以及字体硕大雄健的拟声词。
这样巨大的工作量,还是交给AI吧,只要一键:
![](http://n.sinaimg.cn/sinacn20190822s/388/w639h549/20190822/9edc-icqznfz6153840.gif)
满篇的文字都消失了,人类完全没有帮忙。
AI的名字叫SickZil-Machine,是一群韩国小伙伴开发的,已经开源。
不光字去掉了,背景也修补了:
![](http://k.sinaimg.cn/n/sinacn20190822s/303/w1080h823/20190822/e2b3-icqznfz6154591.jpg/w700d1q75cms.jpg?by=cms_fixed_width)
有了它,汉化组再也不用大规模手动擦除了。
面对此情此景,人类表示相见恨晚:
![](http://k.sinaimg.cn/n/sinacn20190822s/124/w1080h644/20190822/9d34-icqznfz6154724.jpg/w700d1q75cms.jpg?by=cms_fixed_width)
那么,韩国少年们是怎样孕育出这只AI的?
团队说,这是一个完全自动消除漫画文字的AI;但如果人类需要,也可以手动指定消除某一部分文字。
至于是如何擦掉文字,AI由两个机器学习模型组成:
![](http://k.sinaimg.cn/n/sinacn20190822s/702/w1080h422/20190822/df6a-icqznfz6154790.jpg/w700d1q75cms.jpg?by=cms_fixed_width)
一个叫SegNet,负责把需要抹掉的文字部分,分割出来;
一个叫ComplNet,负责把抹掉之后露出的背景补全。
抠出文字的SegNet,借鉴了前辈U-Net图像分割技术:
![](http://k.sinaimg.cn/n/sinacn20190822s/217/w1080h737/20190822/d7a1-icqznfz6155974.jpg/w700d1q75cms.jpg?by=cms_fixed_width)
U-Net结构像个U,从全卷积网络 (FCN) 改进而来。
分割是用成对数据训练的。这里的成对数据,就是漫画原图,加上文字部分的mask。
只用了285对数据。
抠出文字之后,就该填补背景的ComplNet上场了。它是借鉴了前辈DeepFillv2图像修复算法:
DeepFillv2来自UIUC和Adobe,擦除图像的任意部位,AI都能修补完整。
![](http://k.sinaimg.cn/n/sinacn20190822s/412/w846h366/20190822/0669-icqznfz6156113.jpg/w700d1q75cms.jpg?by=cms_fixed_width)
比如,抹掉一盏路灯,AI便会把路灯背后的建筑物补好。
除此之外,还能按自己的意志修改图片:
![](http://k.sinaimg.cn/n/sinacn20190822s/319/w810h309/20190822/0b05-icqznfz6156202.jpg/w700d1q75cms.jpg?by=cms_fixed_width)
把人类的下巴擦掉,再描个短一点的下巴,AI就会给你一张不是马脸的人像了。
当然,漫画未必需要这样高度定制,脑补背景就够。
团队用了31,497张图来训练,其中11,464张是有文字的。
最终,成果斐然:
![](http://k.sinaimg.cn/n/sinacn20190822s/303/w1080h823/20190822/227e-icqznfz6156545.jpg/w700d1q75cms.jpg?by=cms_fixed_width)
不过,也不一定要全靠AI,人类可以手动选择要 (或不要) 消除的部分。
先让屏幕显示出AI生成的mask (红色) 。如果发现不该变红的部分红了,就手动把这一部分从mask里去掉,这样AI就不会把它消除了。
![](http://n.sinaimg.cn/sinacn20190822s/388/w639h549/20190822/65bc-icqznfz6157659.gif)
比如上面,妹子的脸旁边,没有字的地方红了一大块。那么,把这一部分红色框起来扔掉,就好了。
你也试试吧其实,这个好东西也不一定是汉化组才用得到。
没事做的时候,把漫画原本的台词抹掉,练习填词,也是很健康的活动哟。
比如到了这种时候,人类会说些什么呢:
![](http://k.sinaimg.cn/n/sinacn20190822s/88/w1080h608/20190822/7523-icqznfz6159141.jpg/w700d1q75cms.jpg?by=cms_fixed_width)
额,哪里健康了?