Weights&Biases创始人:最疯的还是投资人,几乎没人将LLM投入生产,更多的是在融资,连用GPT的公司都很少...

师从斯坦福CS教授&Cousera联合创始人DaphneKoller,曾拒绝谷歌Offer,在OpenAI实习,是Twilio的第一位用户,Uber创始人Travis是他的创业导师,Scale是第一次创业的对手也是第二次创业的客户,年纪轻轻就把第一个项目3亿美元卖给了上市公司。

今天的主角为大家带来Weights&Biases创始人&CEO——LukasBiewald不久前与硅谷投资人SarahGuo和EladGil的深入对谈。

创办Weights&Biases,源于Lukas本人意识到机器学习和深度学习的迅速发展,但缺乏适合的工具来支持从事这些领域的人员,他认为研究人员和从业者需要更好的工具来追踪模型性能、数据版本控制以及模型注册。

大家enjoy~

SarahGuo

Lucas,你在斯坦福大学学习,你在那里发现了对机器学习的兴趣,能谈谈何时开始从事AI工作的,并从Daphne(DaphneKoller,斯坦福CS教授,Cousera联合创始人)那里学到了什么吗?

LukasBiewald

我小时候痴迷于玩游戏,非常喜欢围棋,也热衷于思考计算机如何在这些游戏中获胜。实际上,我大约在大一的时候给Daphne发了一封电子邮件,询问是否可以与她合作,我当时对游戏非常感兴趣,想学习如何打败围棋,而Daphne实际上给了我一封非常客气的邮件,表示她不从事这方面的工作。

几年后,我上了她的课,我在斯坦福主修数学,必须说Daphne比数学系里最优秀的教授更关心教学,所以这真的是一个开眼界的经历。我非常喜欢她对教学的热情,这也让我对她进行的AI研究感到非常兴奋,后来我成为了她的研究助理。

有趣的是,当时几乎没有什么东西真的有效,就在谷歌被认为真正起作用之前,他们主要以PageRank为主,后来才清楚机器学习在其中起了很大作用,但在我从事机器学习时,我们正在寻找有效的应用。

实际上,我从Daphne那里学到的最重要的东西,实际上是她是我遇到过的最聪明的人之一,她思维非常清晰,对于草率的想法毫不容忍,这对我非常有帮助。

我们确实讨论过概率图模型是否会有所复苏,你是如何从斯坦福创建Figure8的呢?

有趣的是,我实际上在和Daphne做研究时遇到了很多困难。基本上,我尝试过的东西几乎都没有成功,我发表了几篇我觉得有点羞愧的论文,基本上是投入大量计算资源,将一个任务的准确率从68%提高到70%,而这个任务对任何人来说都不重要。

此外,最有可能的答案可能是64%的准确率,说实话这感觉有点毫无意义和悲哀,我喜欢计算机学会做事情的想法,但当你尝试的每件事情都完全不起作用时,很难对此保持热情,即使一些事情确实起作用,你也会想知道自己是否在进行P值调整,比如说,我尝试了1000个东西,所以我猜肯定会比基准稍微准确一些。

你当时在做什么任务?最终你是否从事围棋或游戏之类的工作?

没有,是Daphne在做。Daphne对游戏不感兴趣,她非常实际,所以我当时做了一个很少做的任务,叫做词义消歧;在大多数语料库中,因为它们通常是政府生成的,"plant"通常会表示发电厂的意思,而"cabinet"通常会表示总统的内阁意思,所以试图弄清楚这些词的含义,然后将其应用于翻译。

实际上,我认为这些以语言为导向的策略并不太有效,通过输入更多数据并对结果进行处理,你可以更好地理解这些事情。

然后我有一点受到了那方面的启发,实际上我对这个感到非常沮丧,我真的很想做一些人们关心的事情。

实际上,我曾经拒绝了谷歌的offer,因为他们没有告诉我会做什么,然后我去了雅虎,因为他们说可以在不同语言中工作,但实际上那确实非常有趣,因为它非常实际。

这是一个非常有效的测试,而且当时雅虎刚刚开始从手动调整权重转向机器学习,他们实际上没有太多人真正喜欢部署这些东西。因此,我写代码将机器学习算法转化为C代码,然后将其检查入我们的代码库,并在生产环境中运行这种半手工生成的C代码。

我从中学到的东西是——我会从一个国家去另一个国家,试图从手动调整权重转向ML模型,在这里我是一种传递者,有时它会起作用,有时不会,当它起作用时,人们要么对我非常满意,要么当它不起作用时,他们会对我非常生气,但我有点意识到,实际上我正在为每个国家建立相同的模型,但是训练数据不同。

因此,有些国家会非常认真地进行训练数据收集过程,他们有一个很好的模型,而有些国家可能只是马马虎虎,或者在数据收集中有一些问题,然后模型就不起作用。

我真的非常深刻地感受到训练数据过程的重要性,我觉得为什么他们不让我参与训练数据过程呢?那样我的投入更有意义,而不是建立这些模型,于是我想创办一家公司,让从事机器学习的人能够实际控制训练数据收集过程,并且真正能够看到其中的细节。

那时的想法是,这是一种手动任务,应该由运营团队来处理,他们会制作一个巨大的需求文档,它非常像瀑布模型。

不是迭代的。

嗯,不是迭代的,它可能会像制作一个50页的文档,但做标注的人实际上并没有阅读那个文档,但你可能需要那个文档来防备他们标注不符合你的要求。

EladGil

我认为在那个时候,当你刚创办了最初的DoloresLabs,然后是CrowdFlower,最终成为Figure8时,外部的数据标注解决方案实际上并不存在,对吧?

有些人可能在使用亚马逊的MechanicalTurk来雇佣未经训练的工人来完成任务,但并没有像现在这样的规模化服务,你很早就意识到了创办一个数据标注公司的想法,我想听听创业初期是怎样的,行业是怎样的,你是如何让这一切运转起来的呢?

这很有趣,当时我实际上受到了TravisKalanick的许多指导,他现在以Uber等项目闻名,但他曾经告诉我,不要告诉别人这是AI,因为VC不想听到AI,这在当时是很好的建议。

Sarah,插一句,我认为从硅谷的历史角度来看,这种情况很有趣,Travis曾在他的家举办过一些类似黑客松或聚会,叫做HackPad,我想你以前经常去那里,我的很多朋友以前也常去。

实际上,很多创业公司在那些日子里受到了Travis的影响,他是圈内的另一位创始人,把大家聚集在一起,所以这是一个有趣的历史时刻,至于你说的,当时AI并不像后来那样受欢迎,这只是一个有趣的附注。

AI不仅不受欢迎,而且创业公司也不受欢迎,我家人不懂创业公司,我从斯坦福毕业了,你会以为我会有很多很好的人脉?事实并非如此,我不知道如何从VC那里筹集资金,不认识任何VC,说实话我也不认识任何创业者。

我认为真正不同的是,当时确实有很多人在大力投资机器学习,但从事机器学习的人并不多,所以我们得到了eBay这样的客户,这在当时非常重要,然后就没有其他地方可以去了,所以我的董事会总是建议我读《跨越鸿沟》这本书。

我们尝试了无数种方法来发展公司,我希望这听起来不像是在为自己辩护,也许我只是个糟糕的CEO,但我们经历了多年的挣扎,因为并没有鸿沟可越过,没有其他地方可以去,所以我们试了很多不同的方法,为客户构建更完整的解决方案,但效果不佳。

突然之间,自动驾驶汽车变得流行起来,这实际上使收入开始快速增长,但在长达八年的低增长期后,它突然又迎来了增长。这很困难,因为我们开始得很快,让每个人都兴奋起来,但接下来几年都很困难。

实际上,我们有很多竞争对手,他们都消失了,所以在某个时候,我们没有竞争对手了,因为每个人都倒闭了,然后很有趣的是Scale出现了,完全在自动驾驶市场上吃掉了我们的份额,而这是我了解和热爱的市场,所以经过多年的挣扎,我非常高兴能够出售公司。

PS:2019年,Figure8被澳洲上市公司Appen以高达3亿美元收购了,将两家数据注释公司合并,专注于使用众包劳动力来注释数据,而数据又被使用训练人工智能和机器学习。

市场发生了如此巨大的变化,自动驾驶是第一次出现大量需要数据标注的规模化系统,现在我们正处于LLM(大语言模型)的浪潮中,这都是最近的事情。

很多人基本上认为机器学习是一种连续的事情,一切似乎一直在以近乎线性的方式上升,但实际上技术和市场的采用是一系列不连续的断点,它并不是连续的,没有人这样考虑过。

当你开始Weights&Biases时,你说过:“你不能用劣质的画笔画得好,你不能在劣质的集成开发环境中编写好的代码,你不能用现有的工具来构建和部署出色的学习模型,我想不出比改变这一点更重要的目标了。”

我认为那是你宣布要创办Weights&Biases时说的,所以我很好奇,是什么促使你创办Weights&Biases?对于那些不太了解的听众,你能解释一下这个产品是做什么的,原理是什么?

我们说它是一套为从事机器学习的人提供的工具,我们的第一个功能是它可以追踪你的模型在学习和训练过程中的性能。

当深度学习出现时,我还有点怀疑,因为人们总是说我有一个更好的模型,它会像魔法般地更好,但他们错了。实际上,这真的是关于数据,然后再加上其他因素,但后来他们是对的,实际上存在一种更好的建模方法。

我在二十多岁的时候就意识到,我曾经对那些三十多岁的人抱有偏见,他们当时没有适应机器学习,因为在另一代人成长的时候,基于规则的系统在当时很流行。

我当时想,我实际上也正在变得过时,就像我正在说一些在十年前是正确的,但现在不再正确的错误观点,我对自己真的感到很糟糕。

这是我最喜欢的事情,但无论我做什么,我总是需要有人监督,所以我把教当成学,并在OpenAI实习。

他们以为我需要一些基本的工具,然后我问为什么你不只是使用Docker?我认为这是一种运维的思维方式,但我想,我不理解Docker,感觉就像在我的笔记本电脑上安装了它,然后它总是占内存,我真的不知道它在做什么,我当时害怕极了,觉得它在增加奇怪的复杂性,所以我认为这些工具在某种程度上是存在的,但它们并不是以机器学习人员可以真正使用的方式制作的。

如果你和我一样,从数学背景或研究背景中走出来,你可能真的没有学过产业界的代码,我认为公司有这样的想法,认为研究人员只会把东西扔过围墙,然后东西就会进入生产,但实际上并不是这样的。

我认为这是一个不好的模式,人们想象着他们会这么做,但他们从来没有真正这样做过,每个公司都会让研究人员的研究代码渗透到生产中。

所以,我认为一个更好的方式是给研究人员和从事机器学习的人一些工具,让他们的东西更加可靠,它可能需要更简单的方式,或者说它只是面向不同的受众,你不能只是给某人一个Docker,你不能只是说,嘿,为什么你不使用Git大文件系统来版本控制你的数据?实际上有一些原因,比如它在与对象存储一起使用时效果不佳。

给我一些简单的东西,我不想去考虑,我只是希望我的东西能够简单,这是公司背后的思路,让我们做一些简单明了的东西,确实能够帮助人们。

当时谈到你正在思考LLM将如何改变实验和机器学习工具的样子,后来你们推出了这个prompt套件,能谈一下你的思考过程吗?作为一个领导者和技术人员,你是如何努力保持对机器学习中实际发生变化的敏感度的?你如何思考这种变化?

我们有一个出色的业务,为训练模型的人提供一套机器学习工具。实际上,大多数LLM的构建都是使用Weights&Biases。

这个简单且有稳定增长收入的业务是我一直梦寐以求的,但我内心也有点矛盾,这实际上是我们第一个真正的生存威胁,它在我们的任何指标中都没有显现出来。

我真的相信我们的客户是理性的,他们会做对他们有意义的事情,所以我看到很多同事都在说,会有很多不同的模型,这很好,但就我所见,每个人现在都在使用GPT,我看到95%的人在使用GPT来进行这些机器学习任务,所以我们必须支持这一点。

因此,我们真正鼓舞了整个公司,并推出了prompt。此外,实际上ShawnLewis(Co-founder&CTO)做了很多工作,他在使我们的东西变得非常灵活方面付出了很多努力。因为他说,Lukas喜欢,即将出现变化。

我们不知道确切会发生什么变化,但从一开始,我们确实努力构建了非常灵活的基础架构,这是一个可以真正发挥它的时刻,我们可以为监控工具推出一个产品,现在这是我们的头等大事,我们正在为这种新工作流程推出更多的工具。

目前关于专有模型与开源模型存在很多争议,我认为这些引用非常好,引用LangChain创始人Harrison的话,在实现PMF之前不使用GPU,对吗?

首先,你应该弄清楚这个东西是否真的有效,或者是否存在客户需求,这意味着使用GPT。然后一旦你证明了它的有效性,你可能会在非常高级的用例中使用GPT4或其他版本。然后你可能会回退到3.5版本,或者开始训练自己的模型,用于一些需要廉价、高吞吐量的场景。

对我来说,越来越多的感觉是,在这方面处于最前沿的、最复杂的人,实际上在做这两件事,他们使用GPT进行原型设计,然后在某些情况下,他们会训练自己的Llama2实例或者其他他们使用的东西。

你认为这就是世界的发展方向吗?或者你真的认为一些这些专有模型会逐渐失去优势?就好像六个月后、一年后、两年后,我对你如何看待开源普及的问题感到好奇。

我认为你说得对,这就是现在正在发生的事情,我认为GPT已经遥遥突出,它很难进行微调,甚至在GPT4中也几乎不可能,我认为这不仅仅是技术限制,还有一些商业模式上的限制,这可能会改。

我认为最疯狂的是作为这个领域的投资者,几乎没有多少人将LLM放入生产,可能有更多的公司在以LM工具筹集资金,而实际上将GPT投入生产的公司都很少,这实在是令人难以置信,这只是一个极其饱和的工具市场,却只有很少的公司能够真正将产品推出,你或许比我更接近这个领域。

只有少数几家。

早在今年一月、二月的时候,我们正在寻找在生产中使用的设计合作伙伴。这真的很难找,即使在你找到那些声称将这些东西投入生产的人时,情况似乎是他们还在来的路上。

我们知道我们有所有这些,像是在运行的原型,我认为这会改变,变化很快,但我认为这是一个有趣的时刻,如果你实际上看一下今天用于……我不知道……工具的TAM是多少,我敢打赌它是很小的。

况且,我认为VC有时可能会有这种有趣的视角,你能够看到所有正在使用GPT的公司,但企业的普及速度却较慢,尽管他们不断地谈论着这个,就好像每个人都在谈论着这个。

在企业中,情况实际上是,我不知道是否使用过任何一个实际上由LLM支持的产品,还有很多事情使得采用变得困难,这有点不公平,因为这些东西只推出了大约六个月左右,但我认为普及可能会比人们预想的短期内要慢一些。

从根本上说,ChatGPT是在8个月前发布的,这在我看来是一切的开始,然后GPT4在三月份左右发布,大约3~4个月前,如果你看大企业的规划周期,需要大约6个月来计划和启动一个项目,人们经常会问我关于这些东西普及的情况。

这就是为什么我会稍微问一下关于未来的问题,我觉得现在还为时过早,我们大家又像是在谈论这个作为连续行业周期一样,但实际上并不是,它是一种颠覆性技术,所以我认为还有很多有趣的事情即将到来。

完全正确,其实还存在很多产品问题。像Notion和Zapier都有这些令人信服的演示,它们都是我在使用的产品,但实际上我自己并没有使用其中的LLM部分,我不知道内部普及的程度,但我认为,我认为它们可能还没有完全掌握,尽管他们进行了很多思考,有很多聪明人在为此工作。

对于核心的产品,你们的用户涵盖了多个领域,包括自动驾驶汽车、金融服务、研究、媒体和娱乐等,有没有某个行业的采用让你感到意外,或者你对人们如何使用产品感到非常兴奋?

真正令人兴奋的是他们必须在物理世界中测试药物之前,实际上可以通过机器学习进行测试,这显然非常有效,我之前也见过类似的情况,就像是自动驾驶汽车等等。

在那里,会有一个很大的滞后,直到你的产品通过了所有的临床试验;迄今为止,没有一个通过机器学习开发的药物已经通过临床试验,如果你看一下所有大型制药公司的行为,你会发现这是有效的,因为他们正在大量招聘人员。

公司会为实验招聘几个人,但他们都在准备将这些东西操作化,这使我感到非常兴奋,我不能确定他们是否都是对的,除了在Weights&Biases上购买的席位外,我没有任何内部信息。

我认为这也是一个非常重要的观点。实际上,常常有人说到目前为止,还没有任何一种通过机器学习开发的药物真正上市,但这是一种倒退的衡量指标,而且这个行业发展缓慢,临床试验周期非常长,我对此非常乐观。

我认为在制药行业,这是一个非常突出的特点,因为这方面的讨论很少,但有一些VC在制药行业取得了非常出色的财务业绩,有一个特定的例子,我想到的是,直到Covid时代,它们从未推出过任何药物,但他们在业务上已经存在了20年,它们赚了很多钱,投资了很多生物科技公司。

Lukas,所以制药是一个让你感到兴奋的领域,你认为它有潜力和增长,至少在Weights&Biases的名单上,除此之外你在Weights&Biases的客户群中还看到了谁?

自从你在2007年开始从创业角度参与这个领域,让我惊讶的是这甚至是在深度学习革命之前,我想你如今拥有一个更广泛的用户群体。

我认为经营Weights&Biases最酷的一点是客户群涵盖了各行各业,我真的认为每家财富500强公司都在进行一些他们真正关心的机器学习方面的工作。

我们与大多数大型游戏公司合作,所以我对RiotGames和Unity这样的游戏公司有点了解,他们使用机器学习做了很多很酷的事情,使游戏更有趣,使游戏中的模型更好,而且这是大规模的投资,他们确实非常关心。

再说一遍,我们是流程中的最后一步,你需要一个良好的工具,以便你的机器学习团队能够工作,所以你雇佣了一个机器学习团队,你进入了生产阶段,然后你遇到了问题,然后你就来到了Weights&Biases,所以我们看到的是它在运作之后的情况。

在农业技术方面,大型农业公司也在使用,我以前从未听说过其中一些公司,然后当他们出现时,他们是这些真正使用机器学习来进行更清洁农业的巨大企业;有很多原因,你会在整个田地上喷洒杀虫剂,只是因为更智能的方法成本太高,我认为作物产量和农业实践的清洁度将会有巨大的提高。

我们多年前曾与JohnDeere合作,从Figure8时代到Weights&Biases,他们部署了只针对杂草的喷雾器,我记得多年前在墙上看到图片,然后他们给我展示了原型,然后有一天他们告诉我,你可以购买这个产品;因为这些智能的东西就像是软件,不像是机器,你只需按下复制,就可以得到更多。

我是说我们看到了很多,金融科技对你们来说可能很明显,但它们通常都走在前沿,处理很多事情,还有一些你可能会认出的消费者导向的东西,比如让聊天机器人不再烦人,然后还有一些更多关于财务预测之类的东西,但是,有趣的是我们不进行任何基于行业的营销,因为没有哪个行业足够占主导地位,值得这样做。

我们的客户在不同行业之间来回切换,共同点是人们在进行机器学习和数据科学,而不是特定的应用,这意味着对每个人来说,这已经是一种必备。

你曾经开过玩笑,我想你在开发方面并不是一个特别好的工程师,而现在Weights&Biases的信息传递方式非常注重以开发人员为中心,你是如何思考开发人员与研究人员在工具普及上的区别,以及你做了哪些起作用的事情吗?

开发人员和研究人员在某种程度上是交织在一起的,但我认为在MLP领域早期的公司不得不向高管销售,我完全理解,就像CraftFlyer不得不做的那样,问题是你会陷入这些数百万美元的交易中,你就无法退出。

我认为早期的公司在这方面有点陷入困境,他们陷入了高管喜欢但工程师讨厌的产品中,这就像不管市场有多大,你看到的是开发人员导向的销售更好,当你将开发人员与机器学习研究人员进行对比时,从我们开始做这个的时候,这两者之间的界线已经变得非常模糊了。

我认为这可能存在一些微妙的差异,但当Nvidia推出这些芯片,并且这些芯片适用于深度学习时,它实际上打破了整个技术栈。

我认为,机器学习研究人员实际上不得不变成软件开发人员,与此同时AI课程是最受欢迎的课程,因此所有这些聪明的软件开发人员实际上也开始成为机器学习研究人员,这个界线已经模糊了。

还有一件有趣的事情也在发生,就是地球上的每个DevOps人员都突然变成了MLOps人员,所以你会看到每个MLOps团队突然意识到他们可以筹集大量资金,推出市场上的新产品。

这并不是普通开发人员的体验,就像我和我的联合创始人一样,我认为Weights&Biases的乐趣在于,我们在为自己制作软件,而且我认为结果证明,也许在我三位联合创始人的中位数中,实际上是我们的目标受众。

我更倾向于是机器学习研究人员,虽然几乎可以忽略不计,但如果我必须做个选择,我的联合创始人ChrisVanPelt(CISO,首席信息安全官)可能更倾向于是软件开发人员,而Shawn可能在两者之间。

对于开发人员或开发者来说,一个共同的特点是他们喜欢编写自己的工具,而且他们往往更喜欢使用开源解决方案,而不是封闭源解决方案,你是如何考虑开源与封闭源方法的?你是如何思考如何创造出足够有价值且足够好的东西,以克服人们自己动手的天性?

我认为开发人员知道什么是质量,我喜欢为那些可以自己制作工具的人制作工具,因为它会提高标准,我祖父实际上是模具制作人,模具制作人就是为其他机械师制作模具的人,他有同样的态度,他说:“我为其他工程师制作这些东西,这是一种荣誉。”所以我确实感受到了这种压力,并且我很喜欢这个。

开源与封闭源的事情实际上是因为我们不知道如何构建开源业务,所以我们刚开始的时候选择了封闭源,因为我们实际上希望有一个运作的业务,它确实有一个主要的优点,就是我们的竞争对手都是开源的,这意味着他们无法看到用户实际上如何使用他们的软件。

我认为我们的软件在人们使用的舒适性方面要好得多,如果人们不点击一个按钮,我们会将它移除;如果人们经常选择一个选项,那么我们知道应该将其作为标准选项。

随着我们的成长,我们不可能仅仅依赖于故事性的用户反馈,我认为这让我们的产品变得更好,人们发现使用起来更愉快。

同时,我理解为什么人们想要使用开源的东西,但老实说,我认为这也是一种DevOps的思维模式。DevOps的人喜欢追求开源,通常MLOps的人在公司里也更倾向于使用开源的部分,这就是为什么我们的客户端是开源的。

实际上在你的服务器上运行的东西是开源的,我的经验是,机器学习研究人员通常不太在乎这些,他们更想把工作做好,他们会乐于接受我们有一个稳定的、以正常方式产生收入的业务,而且不会消失,至少我是这么告诉自己的。

实际上,真正取得成功的开源应用程序的数量几乎为零,我认为部分原因是你越深入堆栈,人们就越愿意从事一些工作,比如在开源中编写WebUI,而不是在关系数据库上编写随机的业务逻辑,这不像把你的Github徽章放在上面那样令人兴奋和有吸引力。

你描述的那部分实际上非常重要,处理复杂的工作流程如果某人只能在基础架构中运行它,然后在配置文件、YAML或其他地方获取数据,也许从某人的架构角度来看这可能有效。

在创办第二家公司时,他们做了哪些不同的事情?我觉得我创办了两家公司,第二家公司就应用了各种各样的教训。有没有两三个关键的经验教训,当你创办Weights&Biases时,第二次的经验让一切变得更容易了吗?还是更难了?你是如何思考的,你知道,关键的学习经验或如何应用新事物?

每次我开始思考,长期还是短期?事实证明,你总是倾向于想要考虑长期,尽管每个人都希望你考虑短期,每个人都会推动你考虑短期。虽然他们不会这样说,但事实上,人们可以看到ARR增长,他们可以看到用户增长,他们可以看到那些外部的指标,但是很难看到产品质量,所以我认为我是一个喜欢指标、喜欢有责任心的竞争者,但我实际上认为这可能对我不利,因为你会开始牺牲一些短期的东西,来扩展这些外部的指标。我真的努力抵制这种倾向。我认为每个创业者都在追求短期的数字,但是这会损害你下个季度的增长率,这就像总是把交易推迟一样,但没人会这么想,你不能这样思考。

对于正在创办第一家AI公司或刚开始的创业者,你会给予什么建议?

我总是给出大家都会说的通用建议。实际上,它比你想象的还要真实,即使我深信不疑,它仍然比我知道的更加真实。

关心你是否正在做别人想要的东西,每个人都知道这一点,但很少有人会足够关心,人们会分心,他们会做其他奇怪的事情,即使我也会这样。

我理解,但是你应该比你想象的更关心这一点,无论你有多么关心。我从来没有见过有人在这方面关心过多,然后是与客户互动,这是非常关键的。

每个人都会说他们做了,但我不太相信。就像我觉得我对这一点着迷。当你是一个早期的公司时,一周内与三个客户进行通话是很困难的,你得费劲地去争取和争夺,比如我本周就见了30个客户。

我认为在彼此之间是否对自己与客户的会面次数保持一致,他们到底有多少真正的客户会议?就是当你与客户接触时,那是如此宝贵。

有一件事情关于我,就是我总是默认希望别人喜欢我,这在一位CEO身上是一种可怕的特质,我觉得我一直在找自己的应对机制,以免陷入这种状态,但在客户发现的过程中,我认为这确实有所帮助。

因为我总是非常害怕他们私下里讨厌我的产品,所以我会变得很自信,我会说:“好吧,你告诉我更多吧。你确定这真的对你有帮助吗?”实际上,这在这个重要的创业过程中有所帮助,让你倾向于在与早期客户互动时,展示出你的不安全感。

THE END
1.头条文章比如女性「偏财」心性强的人,就特别喜欢打扮自己,重视外表的穿着,其目的是 不言而喻的。 「偏财」也可以看作是意外之财,「偏财」旺不为忌的“日主”中奖率较高,若是与命中的“喜用神”相连,几率会更高(横财不富命穷人)。 「偏财」与正财在心性上的区别很大,正财对它所控制的事物高度重视,所以比较谨慎、珍...https://m.weibo.cn/ttarticle/p/show?id=2309404735776943636938
2.偏印旺的人智商高偏印的好处是什么偏印旺的人智商高吗?智商高的人能很快很有效的解决非常多的事情,但是我们不能占着自己聪明就不努力,这样最终的结果还是不好的,那么偏印的好处是什么呢? 问:偏印旺的人智商高 答:偏印旺的人通常思维敏捷,能够快速地理解和掌握新知识。他们善于分析问题,能够从多个角度看待问题,找到最优解决方案。这种思维方式使得他...https://www.qiyuange.com/bazi/91293.html
3.高敏感人格:敏感且聪明的人如何逆势成长如果你能真切地体会上述那些“矫情”,如果你曾因为自己的敏感而感到孤独和不被理解,甚至试图隐藏这份敏感的特质以融入“正常”的人群,那么,这本书会告诉你,你并不孤单。在这个世界上,有大约1/5的人与你一样拥有高敏感人格。事实上,高敏感并非弱点,而是与生俱来的天赋。本书指导...https://www.igetget.com/eBook/%E9%AB%98%E6%95%8F%E6%84%9F%E4%BA%BA%E6%A0%BC%EF%BC%9A%E6%95%8F%E6%84%9F%E4%B8%94%E8%81%AA%E6%98%8E%E7%9A%84%E4%BA%BA%E5%A6%82%E4%BD%95%E9%80%86%E5%8A%BF%E6%88%90%E9%95%BF?param=4x2tB3tOfX&token=pqvNQ1KRJa7EmgG8MPKrzykNVbDpBWZPraBwQA1xO54nlvZq296YodejLXVJE5eA
4.太聪明的人是不是更容易变得内心敏感?您好, 通过您的描述,您认为学历高,智商高的人心思敏感,能够觉察别人的情绪,内心有很多压力,可能...https://www.ydl.com/ask/814629
5.为什么说敏感的人聪明很多人认为敏感的人都比较聪明,因为一个很平常的话题,敏感的人就会留心触及到问题的焦点。敏感的人大多聪明的原因如下:1、心思细腻。敏感的人心细、想得多,往往一个问题,敏感的人就会想出十几种答案,所以被人认为聪明。2、对细节比较关注。敏感的人往往在视觉、听觉、味觉、嗅觉以及运动觉能力都远远超过普通的人,...https://www.myzx.cn/article/1021326
1.智商高的孩子,通常都有这些“怪癖”,父母别傻傻扼杀了“天才”4.对陌生人或环境变化比较敏感 孩子到陌生环境就开始哭闹,见到陌生人会下意识躲避,这并不完全是内向性格的作用。 如果孩子能对陌生人或陌生环境及时反应,这恰好说明孩子的警惕性高,是聪明的表现。 若孩子天生就有“高智商”潜力,父母要运用恰当,才能让这种能力得到长远的发展。一旦用错的方式,反而会阻碍孩子的成长...https://m.thepaper.cn/newsDetail_forward_22618730
2.说话技巧聊天有什么技巧说话技巧训练因为它的度很难把握,一个多说的人比如家里的妈妈,经常多说但是却让人感觉唠叨,也让人不耐烦,但是适当的把握度多说是对自身大脑有益处的,可以很好的带动我们的思维能力,这样是有助于提高我们随机应变的能力的方法之一哦。 2.保持自己的敏感度 不论是在哪个行业都需要有自己独特的敏感度,至少我们要知道最近近期...https://www.wed114.cn/wiki/sentry_7422.html
3.12.混淆——混叠图像,对比敏感度,图像压缩4图片混淆但不管怎样,如果你像大多数人一样,你可能会很好地看到这些东西(如图1),但在这上面没有那么多(如图2)。 1 2 在那里的某个地方,那条曲线就是坠落的地方(如图), 本质上,你知道,这里的对比度比较低(如图1),你看不到变化。高对比度也一样(如图2),okay?你的眼睛在不同方面都很敏感。所以这意味着一些频率在...https://blog.csdn.net/sw3300255/article/details/83903960
4.在家上网课的精彩发言稿(精选29篇)指导学生在智慧树平台中学习关于本次课的理论知识点并做好相关笔记,然后使用QQ视频共享桌面的方式补充知识点,辅导与答疑,布置作业,安排任务,作业收齐后,会使用视频的方式与学生通话,每位同学都必须发言,共同讨论交流设计心得。从学习效果可以看出,同学们对网课热情度极高,作业完成非常出色,有的同学作品创意突出、有的...https://www.yjbys.com/yanjianggao/fayangao/3452500.html
5.聪明女人学会20招调情技法让他身心都离不开你亲吻、爱抚全身、身体互相摩擦以及舔舐。我比较喜欢温柔、羽毛般地抚触掠过我的胸膛和腹部,以及大腿内侧。我发现在我知道我是和我热爱的人共享这个空间时,我的全身都会变得很敏感。在我和陌生人做爱时,我会变得非常冷淡和迟钝。 第十二种调戏法: 在我亢奋激情时,全身都异常敏感,尤其是我的背部和脚。我喜欢在进入正...https://m.wang1314.com/doc/webapp/topic/365848.html
6.小学生网课经验发言稿范文(通用20篇)5、网络直播教学敏感度高,提醒老师们直播时的注意事项: (1)突发事件的处理,因为网络故障无法授课的,一定要在群里通告一下,及时布置学习任务,安排作业。 (2)网络直播期间,不宜打开网页,避免弹出不健康的音视频和图文,类似仙桃一中的教学事故。 6、综合素质评价工作。据平台应用分析报告反馈,情况总体不错。建议:七...https://www.ruiwen.com/fayangao/6286064.html
7.如何获得易高潮体质?自古以来,女生性行为的成本和风险都远高于男生(怀孕、性病风险),经过多代演化后,大部分女生的“性阈值”就比男生高得多(对性伴侣的要求更多、也更高)。 有个段子说得很对, 男人要取悦女人,他需要热心+细心+勇敢+聪明+有趣+温柔+善良+有责任心+有能力。 https://m.naimal.com/xueyuan/huati/201906887.html