AI 产品经理面试背后的逻辑(下)

AI 产品如何衡量?

衡量一个产品的标准可以被定义为:「一个真实的用户对于该产品的感知」,包括:这个产品的易用性如何?产品功能的丰富度如何?反应速度如何?扩展性如何?精致度如何?Bug多不多?
衡量一个市场大小的标准可以定义为:「该市场的用户的数量和增长率。」

那么,AI 产品应该如何衡量?基于该核心问题,延伸出多个从属问题,包括:

  • 1. 首先是 AI 产品的用户体验如何测量?与传统的衡量方法有什么区别?设定了哪些衡量指标?

  • 2. 根据什么标准来设定的这些指标?

  • 3. 哪些指标与 AI 相关,哪些不相关?

  • 4. 应用了 AI 技术的指标,产品指标是如何分解到 AI 技术指标的?

  • 5. AI 产品经理如何完成这些指标?(进一步提问技术细节,考察产品经理对数据和技术的理解)

「怎么衡量产品的效果与指标?」

-- 这个问题被所有面试官问到,**非常非常非常重要**,也会被问得很深,指标要求说出具体的数字。

我的回答:

  • - 根据项目的某个功能点,举例回答产品指标的参考标准;

  • - 被追问「你选择的这套标准,是否适用于用户场景?用户是怎么评价这个效果的?」

  • - 举例回答产品效果的测量方法,包括:

  • - 如何分解产品指标到技术/算法指标,如何定义算法规则?

  • - 如何测试产品功能改进后的效果

  • - 被追问:「测量时,如何选取测试数据?如何评估数据的好坏?」

  • - 被追问:「如何评估用户体验有所提升?」

  • - 如「速度变快」具体指的是哪个流程变快

  • - 如「速度变快」的结果,具体数字是从xx分钟降低到xx秒

面试官会对其中一个问题,深入技术细节展开追问:

「如何平衡召回率和准确率,为什么优先准确率?」

  • - 举例,不同指标对用户造成哪些不同程度的影响。

「如何在不损失准确度的情况下,提高召回率?」 

  • - 举例,产品背后使用了哪些算法,讲解算法工作原理以及发挥哪些作用

  • - 不同的算法原理,提升了哪些产品指标,具体细节,具体数字...

「你依据什么标准拆解规则,做了怎样的分类?」 

  • - NLP 的问题难点在于制定规则拆分的逻辑,需要结合规则背后的语言学规律,以及产品结合用户行为等场景计算规则的实用性。

  • - 举例:不同类型的规则,分别采取了哪些方式来提升指标,比如 NLP 的 n-gram 解决的是AA问题、深度学习的 GNMT 模型解决的是BB问题,而深度学习只完成了第一步,还需要进一步抽取xx规则(举例说明其中的原理和细节)

「xx 规则,用到了什么语言学规律?你看过哪些语言学的书来找到这些规律?」 

  • - 当时这个问题被问得很细,我也只能举例几本不同的语言学相关的书,自己分别从里面用到了哪些规律,总结出什么样的规则,如何根据真实场景,来融合这些规则(举例一些语言学知识)。

~ 担心面试官觉得我过于专注技术细节,我也向面试官解释,基于团队资源缺乏的情况,我主要负责的是产品到算法的规则拆分、构建语料库和标注测试数据方面,以及我是怎么做这些事的具体例子。面试官也会根据我的回答进一步追问,让我举例有哪些规则。

「这个项目,给客户减少了多少人力成本?」 

-- 面试官当时深入问了我在商汤做的一个重要项目,以身份验证服务降低人工审核成本为例。

我的回答:

  • - 介绍业务背景,客户的真实痛点,客户对产品最基本的指标要求,如何给出第一版本解决方案。

  • - 在满足客户基本指标之后,如何继续提升了算法和性能指标,最后达到了什么效果,具体到算法指标数字。

由于我的回答偏技术指标层面,所以面试官追问:

  • - 「上线后,能减少客户多少人力成本?是否有具体数字?」

  • - 「xx防伪的识别率多少,在什么条件下才无需人工审核」(需要深入了解客户的业务场景)

  • - 「你们发现哪些网络攻击的问题」(具体举例网络攻击行为与解决策略)------ 如何解决网络攻击问题:回答包括从哪里发现网络攻击行为、如何做攻击行为的数据采集与数据标注、算法团队如何根据该需求来训练模型...

  • - 「最后完成效果提升多少」(客户人力成本降低的具体数字)

  • - 「后续迭代进一步优化了哪些指标」(举例客户的其他需求)


下面是在如何衡量产品指标相关被提问的外延问题,考察 AI 产品经理的数据分析与技术理解能力

「你对数据是否敏感?」 

我并没有正面回答「是的我很敏感 or 我不敏感」,而是举例自己之前做过哪些 AI 数据相关的工作,包括

  • - 自己在标注过程中,发现过哪些问题

  • - 如何带数据标注团队,提升标注效率(偏人工智能训练师的角色)

  • - 根据客户反馈,分析线上数据找出具体问题,提出优化方案等

「你对机器学习算法是否熟悉?」 

-- 在技术型产品岗位的面试都被问到。而不同面试官对该问题的提问方式会不一样。

(1)要求直接回答的方式「是/否 熟悉」

我的回答:

  • - 不算非常熟悉,但我知道自己的产品是用了哪些算法(举例),在不同的功能和规则下,用xx算法是怎么实现的,xx算法可以多大程度改进产品。

  • - 然后举例自己和算法工程师协作时,如何用产品的思维结合算法共同优化某个指标(举例)。

(2)面试官出一道实际场景的题的方式,来考察我怎么实现这题的算法逻辑,来评估我的技术理解能力。  

  • - 「怎么判定文章是否抄袭」(最新洗稿很严重,大家都在讨论这个话题)

  • - 「怎么计算一篇新文章在历史文库中的热度」

  • - 「怎么预测新用户是否会购买一件商品」

  • - ...

  • 回答略

(3)还有一种提问方式最令人恐惧,直接要求讲解某个算法的技术原理分解到数学层面细节。

我的回答:

  • - 深度学习,是什么概念(嗯,当场把理论背下来,比如深度学习中运用最多的卷积神经网络,它的每一层结构分别是什么,为什么需要多层?)

  • - 在图像领域中,为什么用深度学习会比其他的效果好,原因是什么?

  • - 很多人都说深度学习很牛,但是它和传统图像识别的方式有哪些区别,解决了什么问题?

  • - 身为 AI 产品经理 如何通过对技术的理解,去解决实际的问题? 

~ 事后思考,为什么 AI 产品经理 要懂技术?以前都是拿 RD 的结果去用,分解出指标给 RD 就够了,但是其实并不知道,深度学习或者其他算法能给产品带来具体什么样的效果,AI 的好处和风险点有哪些?AI 是否真的能解决问题?如果 AI 产品经理 (尤其是 AI 算法 产品经理)不懂技术,你怎么知道它能给你的产品带来的是提高而不是灾难?


「你是如何跟算法工程师沟通的?」

-- 该问题个人感觉相对简单,属于考察产品经理的沟通能力,以及解决问题能力。

我的回答:

  • - 举了一个例子,比如在真实场景中用户投诉,为了达到客户预期,必须提高xx准确率的问题:

  • - 先根据用户反馈,定位问题;

  • - 然后线上看数据,分析问题;

  • - 列出问题可能存在的根源,哪些是算法问题,哪些是工程问题等;

  • - 做了一个问题分析表,附带数据图片样本;

  • - 根据问题分析表中发现的具体问题,和 RD 沟通哪些能解决;

  • - 再看自己可以做哪些事去推进,如果是新需求可能要收集更多数据,并申请标注团队资源等...


外延问题

外延问题主要包括:

  • 1. 与应聘岗位相关的问题,包括如何优化对方的产品

  • 2. 与面试者个人经历相关的问题(比如我为什么从iOS开发转产品)

  • 3. 面试者的未来职业规划方面的问题

「AI 在 XX 场景中,可以实现哪些功能,说说你的理解」

-- 这个问题需要提前了解应聘岗位的背景,可能需要了解算法基本原理才能回答得更好。

「对我们公司的什么产品感兴趣?你还能再做哪些优化?」

-- 比如面试今日头条,他会问抖音或推荐产品还可以从什么方面优化,从算法技术的角度、从用户体验的角度等。

「你为什么从技术转产品?」

-- 个人职业转型问题,面试官连续提了下面几个问题,篇幅过长,我加到另一篇文章来回答这几个问题:[我的职业路线与未来规划]

  • 1. 「你最早是iOS开发,当时为什么做技术?为什么从技术转到产品,说说你在转型中间自己的感觉。」

  • 2. 「你觉得做 AI 产品经理,和做技术有哪些不一样?」

  • 3. 「你为什么觉得自己更适合做产品?」

  • 4. 「你未来的产品职业选择是什么方向?你会如何做好以后的产品?」

附:面试前期准备 & AI PM 同行交流

其实这次面试我没有提前很长时间准备,我看有些小伙伴会准备1-2个月面试,而我从写简历到第一家面试只准备了1周左右的时间。

写简历的过程中,梳理了过去3年所有的工作。也根据项目自己的工作内容,来准备可能被提问的问题,重点复盘了工作细节,还搜了市面上常见的 AI 产品经理 的问题与答案。下面这些重点问题 90% 都被问到了,尤其是「如何衡量指标」这个问题,会被不断追问。

  • 1. AI 和 传统方法有什么区别,在这个产品中,AI 的优势是什么?

  • 2. 为什么传统方法无法解决这个问题?效果不好有哪些原因?

  • 3. 在这个产品中,分别应用了 NLP 和 AI 的哪些技术?NLP 主要解决了什么问题?

  • 4. AI 主要解决了什么问题?分别是如何解决的?

  • 5. AI 又是如何基于 NLP,进一步做了哪些改进?

  • 6. 产品有哪些评估指标?根据什么来设定的这些指标?

  • 7. 产品指标如何测试和衡量?

  • 8. 算法指标如何测试和衡量?

在第一轮滴滴的面试结束后,hanniman-黄钊老师基于我的个人优势和短板,为我提出了如何选择公司和岗位等非常好的建议,十分感谢!

下面是我自己对我个人的能力分析:

个人能力分析

产品经理的品质方面:

  • - 有认知科学基础,能够清晰地梳理问题,在复杂环境中发现关键矛盾;

  • - 和团队关系友好,待人真诚,也有很强的团队凝聚力,推动能力强;

  • - 对 AI 技术应用到垂直行业有着非常高的热情,决定投入至少10-20年坚持去做好这一件事;

  • - 也有超强的毅力和耐心,这也归功于之前跑马拉松的习惯,坚持做一件事对我来说并不难;

  • - 日常生活比较稳定,除了工作,业余也会坚持锻炼,读书与写作;

产品经理的专业方面:

- 积累较多的:

  • - 需求分析层面,不论是toB还是toC,深度考虑用户场景,用户调研并验证自己的假设;

  • - 项目管理层面,统筹产品从算法技术落地到产品上线的整个过程。权衡在关键时间点做哪些重要的事情,有时候不一定非得 AI,关注结果和效率;

  • - 数据分析层面,在产品上线后发现细节问题来改进产品,AI 技术理解能力较强(CV+NLP);

  • - 除了 AI 产品经理的工作以外,会额外做一些提升效率和推动进展的事情,在资源少的情况下额外辅助工程师做语料库整理、数据标注等工作。

- 积累较少的

  • - 产品方法论,深知自己的专业性与业界规范仍有差距。面试官分析这也许是我之前缺乏大公司产品经验导致;

  • - 交互设计,接触 toC 的产品设计较少,也是在最新一次产品设计经历中发现设计的各种问题,通过具体细节才感知到背后的问题,这也是需要基于业务场景下来思考设计,而非自己臆造功能和交互流程;

  • - 行业经验,缺乏 AI 产品在垂直行业应用的经验。这也是我来到教育行业的原因之一,我对行业积累得远远不够,而要把事情做成,就必须积累这些经验去更好地判断。

黄钊老师的分析

你相对其他人的优势,应该还有对CV和NLP的了解,至少是会熟悉一些、能很快上手。你前面分析行业+公司很不错,选择公司时,如果主营业务对AI有诉求,并且已有一定的积累,会是非常好的锻炼平台。另外,是否能锻炼你作为PM的专业能力,也是一个重要因素,如果能去腾讯,或者直属leader是腾讯产品背景的人,会比较好。
但是,如果考虑你的长期发展规划,个人观点,最重要的考量因素,是如何一步步的选择一个最适合你的AI细分方向,进而去积累。
你现在刚好属于可塑性最强的阶段(年轻+有CV和NLP背景),但再过2年,这个相对优势又淡化了。
CV、NLP,及其交集领域,怎么跟垂直行业结合,都会有不错的方向,但这还不够,单个人来说,需要像我偏笑那样,在细分、再细分的AI领域,做到业内TOP级(即使短期内,在其他方面有明显短板)。
至于PM常规能力方面,随着你的工作年限提升,只要公司平台不太差,基于你的主动性和学习能力,5~10年后,自然会不错的。

非常感谢黄钊老师,这也是我第一次如此详细地分析自己的能力,也帮助我在未来工作中不断反思:需要积累哪些技能来填补短板,更需要发挥自己的长处。

参考资料



如果对本文有任何的建议或意见,或对相关内容需要探讨,欢迎加作者微信一同探索,微信号:Wuxia-wuxia-0822(请备注来自 PMTALK)

本文来自大虾,原创于PMTalk产品经理社区,未经同意,禁止转载。


Talking

发表