苹果视觉图像识别

问题描述:

与其他许多开发者一样,我也沉浸在苹果新的ARKit技术中。这很棒。 然而,对于一个特定的项目,我希望能够识别场景中的(真实)图像,或者对其进行投影(就像Vuforia对其目标图像所做的那样),或者用它来触发事件在我的应用程序。苹果视觉图像识别

在我的研究中,我偶然发现了Apple的Vision和CoreML框架。这看起来很有希望,尽管我还没有能够围住它。

据我所知,我应该可以通过使用Vision框架找到矩形并将它们提供给CoreML模型,将其与模型中预定义的目标图像进行简单比较。它应该能够吐出它找到的目标图像。

虽然这听起来不错,但我还没有找到办法做到这一点。我将如何去创建这样的模型,甚至可能呢?

+0

有趣的是,我想知道昨天刚刚发生了什么。感谢问! – LinusGeffarth

由于ARKit 1.5(在春季与IOS 11.3来临2018年),一个功能似乎直接在ARKit上实现,解决了这个问题。

ARKit将全面支持图像识别。 识别出图像后,可以将三维坐标作为锚点进行检索,因此可以将内容放置在其上。

我发现在Github上这个项目几个星期前: AR Kit Rectangle Detection

我认为这正是你在找什么...

+0

是的,这非常好,谢谢。然而,这只是我寻找的基础,因为这个应用程序能够检测矩形,但不区分矩形上的不同图像。 我认为应该可以使用CoreML,但是我不确定我会如何去做。 –

+0

我正在寻找完全一样的东西。你有没有找到解决方案?我正在考虑培训一个模型。使用CoreML的ARKit识别出图像后,找到矩形,然后获得所需的图像。但是,为一个图像训练CoreML模型太多了,我认为...... – KNV

+0

对你而言,可悲的是,我一直在想同样的事情,并且还没有找到答案。对于我目前正在研究的项目,我尝试将ARToolkit和ARKit(前者仅用于图像识别)相结合。尽管我还没有完成这个过程,但Unity通过这种做法当然是可能的。不过,如果你想在本地做到这一点,我不确定你能做到。 我知道Vuforia计划在明年初发布Vuforia Fusion,它将其图像识别功能与ARKit和/或ARCore结合在一起。 –