Transcription
Сегодня мы поговорим о том, как моя компания построила приложение с искусственным интеллектом, которое оказалось настолько успешным, что мы смогли продать его за 650 миллионов долларов, и как вы тоже можете этого добиться.
Итак, сегодня мы обсудим три основные идеи. Первая — какие идеи выбирать. Как вы решаете, что стоит развивать? Вторая — как это фактически построить. И третья, и, честно говоря, часто упускаемая из виду — как взять то, что вы построили, и успешно вывести это на рынок и продать.
Прежде чем мы углубимся, немного обо мне, чтобы вы знали, кто с вами говорит. Я вырос как программист. Я строил вещи с тех пор, как себя помню. Вероятно, это похоже на то, у всех здесь присутствующих. Это было своего рода побочным квестом для меня, но я влюбился в право и политику, и стал юристом. И у меня была довольно обычная, хотя и короткая, юридическая карьера. Юридический факультет, стажировка, крупная юридическая фирма и так далее. Думаю, как и любой, кто что-то строит, а затем переходит в одну из этих старых профессий, таких как юриспруденция, бухгалтерия, финансы или что-то еще, первое, что вы обнаруживаете: "Я не могу поверить, что они делали это таким образом".
И поэтому я немедленно ушел и основал компанию под названием Caseex в 2013 году, когда, думаю, многим из вас было около восьми лет. И, возможно, как побочное замечание, именно столько времени иногда требуется этим компаниям, чтобы стать успешными. Итак, я знаю, что вам сейчас 18, 19, 20, 21, 22 года, сколько бы вам ни было. Будьте готовы подписаться на одно из самых удивительных приключений в вашей жизни, когда вы начинаете стартап, но это требует времени.
В Caseex мы сосредоточились на подавляющем большинстве нашего опыта на глубоком убеждении, что ИИ, примененный к праву, может внести огромные изменения. И, кстати, это даже не называлось ИИ, когда мы начали на этом фокусироваться. Это называлось обработкой естественного языка, возможно, машинным обучением. Но один из наших исследователей ИИ, который здесь сегодня, Джавед, увидел раннее применение, как только вышла статья BERT "Внимание, все, что вам нужно" и так далее, около семи лет назад, о том, как технология ИИ может применяться для улучшения жизни юристов, например, значительно улучшая поиск.
Поскольку мы были так сосредоточены на больших языковых моделях и глубоко исследовали эту область, мы получили очень ранний доступ к GPT4, примерно летом 2022 года. У нас было около 20 миллионов долларов дохода, мы отлично работали, у меня было около 100 человек, и мы остановили все, что делали, и сказали: "Мы собираемся построить что-то совершенно новое на основе этой новой технологии". И это стало продуктом под названием co-counsel, который был первым и, я думаю, до сих пор лучшим ИИ-ассистентом для юристов по причинам, которые я изложу в оставшейся части этого выступления.
Мы были приобретены Thompson Reuters чуть менее двух лет назад за 650 миллионов долларов наличными. Кстати, это кажется большой суммой, но я думаю, что для многих людей в этой комнате вы оглянетесь на это выступление и скажете: "Я не могу поверить, что это была большая сумма тогда". Вы сможете создавать вещи, которые намного ценнее. Я действительно в это верю, и я думаю, что это потому, что то, что ИИ откроет для всех вас, — это возможность создавать удивительные вещи в этом мире.
Итак, хорошо, как выбрать идею? Что-то, что люди хотят. И причина, по которой существует эта поговорка, заключается в том, что действительно трудно понять, чего хотят люди, особенно в старом мире разработки программного обеспечения. Вам приходится что-то строить, давать это в руки пользователям и много раз пытаться и терпеть неудачу. И вы просто надеетесь, что это то, чем люди действительно хотят пользоваться. Поэтому поговорка Y Combinator гласит: "Создайте то, что хотят люди".
На самом деле, я думаю, что это стало намного проще, потому что чего хотят люди? Ну, чего хотят люди? Например, вещей, за которые они платят прямо сейчас. Люди в настоящее время платят людям за выполнение задач, верно? В данном случае это куча очень несчастных сотрудников службы поддержки клиентов или что-то в этом роде. Но мы уже знаем, чего хотят люди, потому что они платят людям за это. Это включает в себя много работы, такой как поддержка клиентов, страховые агенты, параюристы или, знаете ли, вещи, которые вы делаете в личной жизни, такие как личные тренеры или исполнительные ассистенты, или что-то еще. Это то, чего хотят люди.
И поэтому проблема выбора того, чего хотят люди, просто стала намного проще, потому что теперь вам просто нужно посмотреть, за что люди платят другим людям. Для многих из этих проблем либо традиционный ИИ, такой как LLM, может решить многие проблемы, над которыми люди работают прямо сейчас, а если нет, то робототехника может решить многие вещи, над которыми люди работают в физическом мире. И я думаю, что вы увидите, когда будете решать, что вы собираетесь строить, вы сначала выберете область для таргетинга. Это действительно сводится к трем различным категориям: одна — это помощь, когда, скажем, профессионалу нужна помощь в выполнении задачи. Это то, что мы построили в co-counsel. Юристам нужна большая помощь в чтении большого количества документов, проведении исследований, проверке контрактов, их редактировании, внесении исправлений, отправке их противоположной стороне. Так что это одна большая категория — помощь людям в их работе.
Вторая большая категория — это просто полная замена работы. Люди в настоящее время нанимают юристов. Что, если мы станем юридической фирмой, работающей на ИИ? Люди в настоящее время нанимают бухгалтеров, находят финансовых экспертов, физиотерапевтов и так далее, и так далее, и так далее, знаете ли, людей, которые складывают ваше белье, что бы это ни было, верно? Вы можете просто заменить эту задачу с помощью ИИ. И, наконец, третья категория — это то, что было ранее немыслимо, верно? Например, в юридических фирмах у них были бы сотни миллионов документов, и они бы никогда в жизни не подумали: "Я должен попросить людей просмотреть каждый документ, категоризировать его определенным образом, резюмировать его, индексировать его и так далее". Это было бы просто безумие, верно? Это стоило им миллионы и миллионы и миллионы долларов. Но теперь, когда ИИ здесь, вы можете иметь тысячи экземпляров Gemini 2.0, Flash или чего-то еще, просматривающих каждый документ. То, что раньше было немыслимо, теперь мыслимо. Это, по сути, три категории идей для выбора.
И то, что я считаю невероятным в этом, — это количество денег, которое можно заработать с помощью этих новых категорий; каждая из них значительно выросла. Раньше то, что называется общим адресуемым рынком, то есть сколько денег вы можете заработать на своем продукте, было количеством, скажем, профессионалов, например, количеством мест, которые вы можете продать, умноженным на доллары, скажем, 20 долларов в месяц или что-то в этом роде, верно? И, кстати, многие многомиллиардные компании строятся путем продажи мест определенному количеству профессионалов. Но сегодня фактическая сумма денег, которую мы уже знаем, что люди и компании готовы потратить, — это совокупные зарплаты всех людей, которых они в настоящее время платят за выполнение работы. И эта цифра в тысячу раз больше. Вы платите 20 долларов в месяц за решение проблемы. Например, вы знаете, платите типичную подписку типа SAS, но вы можете заплатить пять или десять или даже 20 000 долларов в месяц определенным профессионалам за решение проблем для вас. Таким образом, сумма денег, которую вы можете заработать с помощью своих новых приложений с ИИ, увеличилась в 10, 100 или даже 1000 раз по сравнению с тем, что было раньше.
Я хочу уделить минутку, потому что это может прозвучать довольно мрачно, как будто мы говорим о том, чтобы взять все эти зарплаты, и это становится вашим адресуемым рынком. Я думаю, что это скорее наоборот. Я думаю, что это красиво. Я думаю, что будущее красиво по двум причинам. Во-первых, вы откроете будущее, когда замените или существенно поможете определенным рабочим местам. Как люди раньше, Сэм Альтман писал об этом в недавнем эссе. Раньше существовала профессия "зажигальщик фонарей", когда у нас не было электричества и света. Так что люди ходили с спичкой или, знаете ли, зажигали все фонари ночью и гасили их вечером, туша свечи, верно? Вот чем занимались раньше. И мы даже не могли представить себе то, что делаем сейчас, потому что именно этим мы были заняты в прошлом. Так что вы откроете будущее, которое мы даже не можем себе представить сегодня, когда мы выйдем за рамки ролей, которые мы выполняем прямо сейчас. Это будет казаться устаревшим через 10, 15 или 100 лет, делать то, что мы делаем сегодня, потому что вы поможете нам выйти за рамки этого.
Но не менее важно, я думаю, что некоторые люди не думают об этом, что, на мой взгляд, очень верно, — это то, что вы демократизируете доступ к вещам, которые раньше были очень, очень трудными или очень дорогими. В области, в которой мы работали, в юриспруденции, более 85% людей с низким доходом не имеют доступа к юридическим услугам. Работа с юристами занимает слишком много времени и слишком дорого, верно? Но если вы сможете сделать юристов в 100 раз быстрее и в 10 раз дешевле, или, честно говоря, просто предоставлять эти услуги самостоятельно как новая юридическая фирма, работающая на ИИ, то внезапно, когда юристы вынуждены отказывать клиентам, потому что у них не было достаточно денег, вы теперь можете сказать "да". И это применимо везде: каждый должен получить лучший в мире финансовый ассистент, каждый в мире должен получить лучшего исполнительного или личного ассистента, каждый в мире, знаете ли, уже может иметь лучшего ассистента по программированию в таких инструментах, как Cursor и Wind Surf и так далее, верно? Я действительно думаю, что, несмотря на то, что я говорю вам, как выбрать идею, вы должны потенциально заменить рабочие места, я думаю, вы сделаете что-то действительно удивительное для подавляющего большинства потребителей и предприятий, открывая лучшее будущее и демократизируя доступ к вещам, которые раньше были доступны только очень богатым.
Итак, это то, как выбрать идею: выбрать работу, заменить, помочь или сделать немыслимое — ранее немыслимое — и построить лучшее будущее. Но как на самом деле это построить? Я дам вам краткий обзор того, как мы это построили. Что меня поражает, так это то, что все, что я сейчас скажу, может показаться очень простым и здравым смыслом, и, возможно, даже очевидным, но самое безумное — никто этого не делает. Например, никто не выбирает идеи так, как я рекомендовал, с точки зрения выбора категорий работ. Таких компаний очень, очень мало. И еще меньше компаний делают то, что, я надеюсь, будет выглядеть как довольно очевидные и простые вещи для построения надежного ИИ. Я подчеркиваю "надежный" и подчеркиваю, потому что это будет ключом во многих случаях для перехода от классной демонстрации, как говорил Эндрю ранее сегодня, к чему-то, что действительно работает на практике.
Вот четыре быстрых пункта о том, как на самом деле это построить. Первое — подумайте о создании ИИ-ассистента или ИИ-заменителя, скажем, для профессии. Спросите себя: "Что люди на самом деле делают?" Что на самом деле делает профессионал в этой области? Что делает личный тренер или фитнес-тренер, если это приложение вы решаете создать? Что делает финансовый ассистент или финансовый аналитик? И будьте очень конкретны. Я скажу это несколько раз, но действительно полезно знать этот ответ, а не выдумывать его. Нам было полезно, что я был юристом, мои соучредители были юристами, 30-40% моей компании, даже программисты, были юристами, потому что мы действительно жили этим. Это может быть не ваш случай. Просто будьте как тайный агент где-нибудь. Действительно узнайте, что происходит в этих компаниях, верно? Что делают эти люди? Другой способ сделать это, кстати, заключается в том, что вы можете быть техническим талантом, и вы можете найти себе соучредителя, который обладает глубокими знаниями в какой-либо области. Но как бы вы ни добрались туда, вы знаете, выясните, какие конкретные вещи делают люди, которым вы можете помочь или заменить.
И тогда задайте себе этот вопрос: "Как бы лучший человек в этой области сделал это, если бы у него было неограниченное время и неограниченные ресурсы, например, тысяча ИИ, которые могут работать одновременно для выполнения этой задачи, верно?" Как бы лучший человек сделал это, и работайте оттуда, верно? Каковы фактические шаги, которые мог бы предпринять кто-то для выполнения задачи? Чтобы привести пример из нашей юридической области, мы провели исследование два с половиной года назад, как только мы получили доступ к TPD4. Это было первое, что мы сделали, и мы спросили: "Что бы сделал лучший юрист, получив этот исследовательский вопрос?" Это было не просто общее исследование, что это вообще значит? Они разбили его на шаги. Хорошо, сначала они получают запрос на этот исследовательский проект и говорят: "Хорошо, мне нужно понять, что это на самом деле означает". Они могут задать уточняющие вопросы, как при глубоком исследовании сегодня, если вы его использовали. А затем они могут составить план исследования. Они могут выполнить десятки поисков, которые могут дать сотни различных результатов. Они прочитают каждый из них очень внимательно. Отбросят то, что не имеет отношения, потому что результаты поиска иногда содержат нерелевантную информацию. Принесут то, что имеет отношение. Сделают заметки о том, что они видят, верно? Почему это имеет отношение? Почему это не имеет отношения? Куда это вписывается в мой ответ? А затем, основываясь на всем этом, соберут все это в эссе. А затем, возможно, даже добавят шаг в конце, где вы проверите эссе, чтобы убедиться, что оно точное и надежное, действительно ли оно ссылается на правильные ресурсы и так далее, и так далее, и так далее. Это те шаги, которые реальный профессионал мог бы предпринять при проведении исследований. Так что запишите их.
Теперь перейдем к коду. Большинство этих шагов для тех вещей, которые вы будете делать, в конечном итоге станут подсказками. Одна или несколько подсказок, верно? Одна подсказка может быть: "Прочитай юридическое заключение и определи по шкале от нуля до семи, насколько оно релевантно заданному вопросу". Одна подсказка может быть: "Учитывая все эти заметки, которые я сделал, и все дела, которые я прочитал до сих пор, напиши эссе". Одна подсказка может быть: "Вот сноска в эссе, вот исходный ресурс. Правильно ли цитируется эта вещь или нет?" Причина, по которой многие из них являются подсказками, заключается в том, что это вещи, которые когда-то требовали интеллекта на человеческом уровне, но теперь вы вводите их в программное приложение. Так что теперь вам нужно, знаете ли, проделать работу по превращению этого в отличную подсказку. Я расскажу через секунду, как на самом деле это сделать, этот интеллект на человеческом уровне. Кстати, если вы можете обойтись без подсказки, если это детерминировано или это математический расчет или что-то в этом роде, это лучше. Подсказки медленные и дорогие. Токены все еще дорогие. Так что, когда вы разбиваете эти шаги, некоторые из этих вещей могут быть просто хорошим старым программным инжинирингом, верно? Делайте это, когда можете.
И тогда вы принимаете решение, когда узнаете, как лучший человек подойдет к этому. Если это довольно детерминировано, как каждый раз они всегда делают эту задачу, они всегда следуют одним и тем же пяти шагам. Просто. Сделайте из этого рабочий процесс, верно? Это на самом деле самый простой для вас исход. И, честно говоря, многое из того, что мы построили при создании co-counsel, было именно таким. Каждый раз, когда вы выполняете эту задачу, вы, по сути, будете выполнять те же шесть или семь шагов. И вам не нужен, честно говоря, LangChain или что-то еще. Просто код Python. Эта функция, затем вывод этой функции идет в эту функцию, вывод этой функции в эту функцию. Бум. Вы закончили, верно? Просто.
Иногда это не так просто. Иногда, как эксперт подойдет к проблеме, действительно зависит от обстоятельств. Возможно, им нужно составить совершенно другой план исследования, использовать разные ресурсы, проводить разные типы поисков, читать разные типы документов, что бы вы ни делали, верно? Вот как вы приходите к чему-то, что немного более ориентировано на агента. Это труднее гарантировать, что это хорошо. Но, возможно, вам придется это сделать, верно? Подчеркните это снова: при выполнении всего этого имейте некоторую форму отраслевой экспертизы, кого-то, кто знает, о чем говорит, что, кстати, вы также можете приобрести, просто разговаривая со многими людьми. Есть много разных способов добраться сюда, но не делайте этого. Не летайте вслепую. Не предполагайте, что именно так все государственные служащие в этой области делают X, действительно знайте.
Итак, это базовый способ построения этих возможностей ИИ, которые начинают вырисовываться, и это все, просто. Сложная часть, честно говоря, не в построении. Сложная часть — это сделать это правильно. Как вы узнаете, что исследование было проведено хорошо? Как вы узнаете, что документ прочитан правильно? Как вы узнаете, что он отредактировал, знаете ли, правильно ли он обработал страховой случай? Как вы узнаете, что он сделал правильный прогноз относительно покупки или продажи акции или чего-то еще, что вы делаете? Именно здесь оценки играют очень, очень, очень большую роль. И это то, чего я вижу, что большинство людей не делают, потому что они создают демонстрационные вещи, которые, честно говоря, имеют точность 60-70%. И если быть честными, вы, вероятно, сможете привлечь довольно хороший раунд капитала, показав свою классную демонстрацию партнерам венчурного капитала. И вы даже можете подписать своих первых нескольких клиентов с классной демонстрацией в качестве пилотной программы, верно? Но затем это не работает на практике. И поэтому весь этот энтузиазм и привлеченный венчурный капитал, и энтузиазм пилотной программы и так далее, рушатся, если вы не можете создать что-то, что действительно работает на практике.
И создание чего-то, что работает на практике, очень сложно, потому что LLM, как и люди, знаете ли, вы не выпили кофе утром, вы проснулись не с той ноги, и он может просто выдать неправильные вещи для подсказок. Я уверен, что вы все видели это раньше. Даже если вы просто используете ChatGPT, вы иногда, вероятно, были поражены его блеском в одно время и шокированы в другое, насколько он был невероятно неправ относительно кода или, знаете ли, какого-то информационного поиска или просто галлюцинировал, когда был день рождения Джорджа Вашингтона или что-то еще, верно? Так как же с этим справиться? Я расскажу вам, как мы с этим справились. Это не полный ответ, но большая часть — это оценки.
Следующая партия теперь принимает заявки. Если у вас есть стартап, подайте заявку на ycombinator.com/apply. Никогда не рано. [музыка] И заполнение заявки повысит уровень вашей идеи. Хорошо, вернемся к видео. >> Все это начинается снова с отраслевой экспертизы, которая заключается в том, как выглядит хорошо? Что значит выполнять эту задачу очень, очень хорошо? Если вы проводите исследование, каков правильный ответ на данный вопрос? Что должно быть в правильном ответе для данного документа? И вы задаете вопрос, который является документом. Что он должен извлечь из этого документа? Какие страницы я должен найти информацию? Как выглядит хорошо? Это верно для общей задачи, такой как "заверши это исследование для меня", но также и для каждой микрозадачи, необходимой для выполнения общей задачи, такой как "какие поисковые запросы являются хорошими поисковыми запросами по сравнению с плохими поисковыми запросами?" Здесь снова, не повторяясь, но хорошо знать, что на самом деле говорят профессионалы об этом, верно? Итак, как выглядит хорошо? И тогда это становится вашими оценками. Моя любимая вещь, которую я делаю, когда пишу оценки для вещей, которые, знаете ли, когда это возможно, превращаются в очень объективно оцениваемый ответ. Например, пусть ИИ просто выводит "истина" или "ложь" или число от нуля до семи или что-то еще, потому что тогда его действительно легко оценить. Насколько это релевантно. Это не семь, не пять, это шесть. И если у вас есть это, то вы можете настроить фреймворк оценки. Мне нравится Prompt Fu, я не знаю, используете ли вы это. Это открытый исходный код, работает в вашей командной строке. Существует множество фреймворков, которые вы можете использовать для, знаете ли, составления этих оценок. В конце концов, это не имеет большого значения. Для этого ввода и этой подсказки ответ должен быть шесть. Сделайте дюжину, попытайтесь соответствовать тому, что ваши клиенты на самом деле собираются бросить в вашу программу, верно? Сделайте дюжину, а затем попытайтесь сделать ее идеальной на дюжине, затем перейдите к 50, затем к 100, и продолжайте настраивать подсказку, пока она действительно не пройдет все тесты, которые вы ей бросаете. Если вы делаете это очень хорошо, имейте резервный набор и не смотрите на них, пока вы пишете свои подсказки. Убедитесь, что это также работает на них. Вы не просто настраиваете подсказку только для ваших оценок, верно? Вы обнаружите, что без какого-либо технического тонкой настройки, вы можете зайти так далеко, просто используя подсказки, если вы очень осторожны с этим. Вы обнаружите, что ИИ предсказуемо ошибается. Ваши подсказки неоднозначны, вы не даете ему четких инструкций по выполнению одной вещи, или он просто постоянно терпит неудачу в определенном направлении. Вам нужно дать ему прямые инструкции, чтобы удержать его от совершения такого рода ошибок. Вы даете ему примеры, чтобы отвести его от определенных классов ошибок. Но это не будет сюрпризом, почему или как ИИ терпит неудачу. Как только вы начнете использовать подсказки, вы начнете видеть закономерности, вокруг которых вы можете подсказывать, давать инструкции. И я люблю говорить, что самая большая квалификация для успеха здесь — это готовы ли вы или кто-либо, кто работает над подсказками вашей компании, провести две недели без сна, работая над одной подсказкой, чтобы пройти эти оценки. Если вы готовы это сделать, вы в очень хорошем положении, верно? Это просто требует такого упорного труда, потому что дело в том, что вы будете делать эти оценки, и сначала вы будете проходить примерно в 60% случаев. И в этот момент большинство людей просто сдаются. Они говорят: "ИИ просто не может выполнять эту задачу, верно?" Они говорят: "Я просто не могу. Я не буду этого делать". А затем вы проведете ночь, работая с подсказками, и вы будете на 61%. Вы скажете: "Боже мой". Следующая группа людей сдастся в этот момент. Что я хочу вам сказать, так это то, что если вы проведете солидные две недели, работая с подсказками, добавляя больше оценок и работая с подсказками, добавляя больше оценок и настраивая свою подсказку, настраивая свою подсказку, настраивая свою подсказку, вы достигнете чего-то, что проходит примерно в 97% случаев. И 3% в некотором роде объяснимы. Это как суждение, почти как человеческое. Люди принимают похожие суждения. Как только вы достигнете этого, вы можете чувствовать себя довольно хорошо относительно того, как это может взаимодействовать в продакшене. Я рекомендую, до продакшена, возможно, в бета-версии, достичь 100 тестов на подсказку и 100 тестов для общей задачи. Если вы проходите примерно 99 из 100, опять же, вы должны чувствовать себя довольно хорошо относительно того, где вы находитесь, верно? Так что это грубое руководство. Если вы можете превзойти тысячу, это в 10 раз лучше. Сделайте это. Но это сложно. На самом деле очень сложно придумать отличные оценки. Так что я бы рекомендовал хотя бы 100, перейти в бета-версию и отдать ее в руки клиентов и установить ожидания. Кстати, это еще не идеально, поэтому вы находитесь в бета-версии. А затем вы слушаете и учитесь. Каждый раз, когда клиент жалуется, либо у вас есть его данные, потому что так настроено ваше приложение, либо вы спрашиваете его: "Эй, можете ли вы поделиться этим документом и вопросом, который вы задали, чтобы увидеть, почему он не сработал?" Это новый тест. Мы добавили гораздо больше оценок на данный момент из реальных вещей, которые произошли с реальными клиентами, чем те, которые мы придумали в лаборатории. И это будет то, что ваши клиенты сделают с вашим приложением самые глупые вещи, хорошо? И они будут делать такие глупые вещи, которые вы не могли предсказать. Но именно это делают клиенты на самом деле. Если вы когда-нибудь видели реальные поисковые запросы человека, они едва читабельны, знаете ли? И я предполагаю, что то же самое верно и для ChatGPT. Они видят кучу вещей. Ваши подсказки, вероятно, выглядят довольно умными. Большинство людей говорят: "Буррито мне, как больно" или что-то в этом роде. Что вы с этим делаете? Но вы должны попытаться дать отличный результат и определить, что они на самом деле пытаются сказать с этими нелепыми подсказками. Так что делайте это, как будто это ваши реальные тесты, и продолжайте итерировать. Это не статичная вещь. Появятся новые модели. Попробуйте новые модели. Prompt Fu и другие фреймворки делают это очень легко. Добавьте новую модель. Она вычислит, насколько хорошо она работает с вашей подсказкой до сих пор. Продолжайте настраивать свои подсказки. Иногда добавление или удаление одного слова может повысить вас на один процент, но это очень важно, если вы работаете в таких областях, как финансы, медицина, юриспруденция, где однопроцентное увеличение точности действительно имеет значение для клиентов, которым вы служите, верно? Продолжайте итерировать. Никогда не останавливайтесь. Должен быть новый запрос на GitHub, как каждые два дня или каждый день, по вашим подсказкам. И я говорю вам, если вы просто сделаете эти два последних слайда, знаете ли, как профессионалы действительно это делают? Разбейте это на шаги. Каждый шаг, по сути, становится подсказкой или частью кода. А затем вы тестируете каждый шаг. Тестируете весь рабочий процесс вместе. Если вы просто сделаете эти две вещи, вы будете на 90% пути к созданию лучшего приложения с ИИ, чем большая часть хлама, который существует, верно? Потому что большинство людей никогда не оценивают. И они никогда не тратят время на то, чтобы выяснить, как профессионалы на самом деле выполняют работу. И поэтому они создают эти эффектные демонстрации в Твиттере. Они, возможно, даже привлекают капитал, и они могут даже быть вашими героями на минуту, но будьте осторожны, кого вы выбираете своими героями. Настоящие люди находятся за кулисами, тихо строят, тихо улучшают свои вещи каждый день. Если вы просто сделаете эти два слайда, вы будете на 90% пути и лучше, чем большинство существующих вещей. Это самое безумное.
Хорошо, теперь самая сложная часть, честно говоря. Часть, которую, честно говоря, мы все еще пытаемся понять после выхода на многомиллиардную компанию. Это все равно будет очень, очень, очень сложно, и я дам несколько советов по маркетингу и продаже приложений с ИИ в этом новом мире, где вы, возможно, заменяете или помогаете в работе. То, что мы узнали по пути, но первое, что я скажу, это немного противоречит тому, что, я думаю, существует во многих венчурных кругах, многие люди говорят, что самое важное — это продажи и маркетинг. Многие люди действительно, действительно думают, что когда вы достигнете серии A и серии B, у вас будут люди в совете директоров, которые скажут, что продукт не так уж важен, если вы действительно хороши в маркетинге и продажах. И они видели некоторые примеры того, как это работает очень хорошо. Я думаю, что это так. В течение 10 лет у нас был неплохой продукт. Сначала у нас были разные лидеры по маркетингу и продажам, некоторые из них очень квалифицированы и так далее, и они работали неплохо. Когда у нас был потрясающий продукт, внезапно люди стали рекомендовать нас по сарафанному радио, новости приходили к нам, потому что мы делали что-то действительно новое и интересное, верно? И это, и сарафанное радио, и новости — это бесплатный маркетинг. Люди приходили к нам, как у нас были продавцы, потому что у нас были продавцы от нашего старого продукта, который был не так хорош, как новый, который мы выпустили на основе LLM. И я скажу вам, что эти продавцы стали просто "приемщиками заказов". Так что самое важное, что вы можете сделать для маркетинга и продаж, — это создать потрясающий продукт, а затем убедиться, что мир о нем знает каким-то образом. Очевидно, вы не можете просто построить его и никому не показывать. Дерево падает в лесу, никто его не слышит. Это ничего не даст. Но я действительно думаю, что качество продукта имеет гораздо большее значение, чем скажут ваши инвесторы серии A и B. Так что, когда у вас будут эти скучные венчурные инвесторы в совете директоров, вы можете вспомнить это выступление и возразить.
Хорошо. Но это все еще важно. Все еще важно продавать и продвигать. У меня есть три совета. Первое — вы, возможно, больше не продаете традиционное программное обеспечение. Подумайте, как вы собираетесь это упаковать и продать. Компании, которые меня сейчас больше всего волнуют, берут реальные услуги, например, проверку контрактов для компании, и они просто делают это. Они делают полный сервис. Возможно, есть человек, который участвует. И это обычно стоило бы кому-то 1000 долларов за контракт для проверки, если бы они обратились в традиционную юридическую фирму. Они берут 500 долларов за контракт. Опять же, для контекста, многие инструменты, которые вы используете прямо сейчас, вероятно, стоят 20 долларов в месяц. 20 долларов в месяц против 500 долларов за контракт. Мы говорим об экстремальном увеличении цены. Устанавливайте цену в соответствии с ценностью, которую вы продаете. Не занижайте себя. Это, возможно, немного противоречит тому, что я только что сказал, но также прислушивайтесь к своим клиентам, как они хотят платить. Просто спросите их: "Как бы вы предпочли за это платить?" Я расскажу вам, что мы обнаружили. Мы думали о ценообразовании по мере использования, как эта компания по проверке контрактов, и это может сработать в некоторых случаях, когда они предпочитают платить таким образом. Это может сработать. Но когда мы спросили наших клиентов, они сказали: "Послушайте, я бы предпочел платить больше, но сделать это как бы последовательно в течение года, чем потенциально платить меньше и платить по мере использования". Так что наши клиенты хотели платить 6000 долларов за место. Они хотели платить за место, и они хотели платить 6000 долларов за место, 500 долларов в месяц. Хорошо. Это ситуация, когда наши клиенты хотели предсказуемого бюджетирования. Предоставьте им это, верно? Слушайте своих клиентов.
Третье, о чем стоит действительно подумать при маркетинге и продажах, — это то, что все эти вещи с ИИ новые и пугающие. Даже эти крупные компании хотят окунуть пальцы ног в воду. Они хотят пробовать новое. Их генеральный директор сидит в совете директоров людей из Fortune 500. Весь совет директоров говорит: "Что вы делаете по поводу ИИ?" И поэтому их генеральный директор идет в компанию из 20 000 человек. "Что мы делаем по поводу ИИ?" И они говорят: "Я не знаю. Я пробую продукт Грега". Хорошо. Они хотят попробовать ваш продукт. Но также существует этот разрыв доверия, потому что раньше они делали это, спрашивая людей, и они могут уволить людей, они могут обучить людей, они могут тренировать людей, как люди не идеальны, но они привыкли к ним. Они еще не привыкли использовать ваш продукт. Они понятия не имеют, чего ожидать. Так как же построить доверие? Некоторые очень умные компании проводят прямые сравнения. Сохраните свою юридическую фирму, а затем используйте нашу вещь бок о бок, а затем сравните. Насколько мы быстрые? Насколько мы хороши? Насколько разными были результаты? Сохраните своего бухгалтера, используйте нашего ИИ-бухгалтера, а затем сравните, насколько мы отличаемся в нашей бухгалтерии или налоговом учете или что-то еще, что мы предлагаем. Это отличный способ построить доверие. Сравните это с людьми. Проводите исследования, пилотные проекты. Существует так много способов сделать это, но подумайте в своей голове: "Как мне построить доверие с моим клиентом?"
И, наконец, продажа не заканчивается, когда они написали чек, и уж точно не когда они начали пилотный проект. То, что я вижу сейчас, — это как бизнес-ангел в этом пост-выходном мире для меня. Есть много компаний, у которых наш ARR составляет 10 миллионов долларов, и вы копаете глубже, и там написано: "О, да, у нас есть пилот на шесть месяцев, и они платят нам много денег за этот пилот". Многие из этих пилотов не конвертируются в реальный доход, и будет массовое вымирание, поскольку большая часть пилотного дохода. Это как вместо ARR, как PR, пилотный периодический доход или что-то, что даже не является периодическим, просто пилотный доход, я полагаю, не конвертируется в реальные деньги, и это реальная опасность, я бы сказал, для стартапов прямо сейчас, даже для тех, кто сообщает о супер высоких цифрах дохода. Большая часть вашей работы как основателя и части работы людей, которых вы будете нанимать, заключается в том, чтобы убедиться, что все используют продукт, действительно понимают его, обучают, развертывают его сознательно, и это отличается для каждой отрасли. Для вас, знаете ли, онбординг, действительно тщательно их проводите. Возможно, это в приложении, которое проводит их через шаги, чтобы они пробовали разные вещи. Возможно, это на самом деле человек, сидящий рядом с ними. Я не знаю, заметили ли вы это, но очень маленький, как бы брошенный комментарий, который Сатча сказал ранее сегодня, заключается в том, что одна из самых растущих ролей в стартапах — это инженеры по развертыванию, что, я думаю, является очень модным термином для просто людей "на земле", которые сидят рядом с вашим клиентом и убеждаются, что продукт действительно работает для них, верно? Что бы это ни стоило.
Одна вещь, которую я часто говорил в своей компании, и я до сих пор считаю, что это очень верно: ваш продукт — это не просто пиксели на экране. Это не просто то, что происходит, когда вы нажимаете эту кнопку. Это человеческое взаимодействие с вашей поддержкой, успехом клиентов, с основателем. Это обучение, это все вокруг. Если вы не сделаете это правильно, то у вас могут быть лучшие пиксели на экране, но вас победит компания, которая больше инвестирует в своих клиентов и гарантирует, что ее продукты действительно хорошо используются. Это все, что вам нужно сделать, чтобы построить потрясающее приложение с ИИ и легко превзойти нашу цифру в 650 миллионов долларов.
Хорошо, теперь перейдем к вопросам. [аплодисменты] >> Здравствуйте. Большое спасибо за ваше выступление. Я хотел спросить о процессе выбора, в какую отрасль пойти, чтобы попытаться создать больше автоматизации таким образом. Так, если в этой сфере уже есть конкуренты, вы бы предложили искать другую отрасль или вы бы предложили углубиться в нишу этой отрасли или как бы вы посоветовали в такой ситуации? >> Итак, я не думаю, что вас должны волновать конкуренты вообще. Во-первых, для некоторых из этих областей рынок настолько велик, потому что мы говорим о том, сколько триллионов долларов в настоящее время тратится на, скажем, профессионалов по маркетингу или профессионалов по поддержке или что-то еще. Не будет ни одной компании, которая выиграет весь этот рынок. Для подавляющего большинства из них. И, честно говоря, часто вы сначала будете бояться своих конкурентов, а затем, после того как вы начнете строить, вы будете поражены тем, насколько они плохи, и вы их обойдете. Дело не в конкурентах. Но я скажу, что, как бы углубляясь в то, как выбрать рынок. Я бы посмотрел на то, какие роли люди в настоящее время передают на аутсорсинг, скажем, в другую страну, верно? Если это то, что они готовы сделать, то это, вероятно, довольно хорошая цель для того, что ИИ может взять на себя. Если это роль, где они чувствуют, что это часть их идентичности делать это в доме, знаете ли, например, я не думаю, что вы будете передавать на аутсорсинг создание истории фильма Pixar, верно? Это то, что они чувствуют, правы они или нет. Возможно, ИИ через два года просто сделает Pixar лучше, чем Pixar. Но люди в Pixar будут очень сильно относиться к элементу повествования. Так что, знаете ли, не пытайтесь передавать на аутсорсинг эту часть. Попытайтесь найти части, которые уже переданы на аутсорсинг. Например, найдите большие рынки, найдите, где есть болевая точка у многих разных компаний. Найдите то, что вы знаете или можете получить доступ к информации о. Это те вещи, на которые я бы смотрел, пытаясь выбрать рынок. Но, честно говоря, есть так много огромных рынков. Вы буквально можете распечатать все знания, если хотите сохранить их в цифровом виде. Бросьте дротик в то, что вы укажете. Куда бы ни упал дротик, просто выберите этот рынок и начните двигаться к нему, и я думаю, вы, вероятно, попадете в триллионный рынок. Так что, конкуренты или нет, неважно. >> Спасибо. >> Отлично. Большое спасибо. Итак, Майкл из Швейцарии. У меня быстрый вопрос, потому что вы успешный основатель, и многие из нас здесь будут основывать компании. Я хотел бы знать, как изменился ваш фокус на разных этапах компаний, от, скажем, пре-сид, на чем вы фокусировались, по сравнению с, знаете ли, стадиями C, стадиями A, и, наконец, до выхода. И какая часть вам понравилась больше всего? >> Это отличный вопрос, Майкл. Итак, я отвечу, что я должен был сделать, а также что я действительно сделал. Хорошо. >> Отлично, спасибо. Что я должен был сделать, так это на стадии сид сосредоточиться на создании отличного продукта, который получит продуктово-рыночное соответствие, а затем на стадии серии A сосредоточиться на создании отличного продукта, который получит продуктово-рыночное соответствие, а затем на стадии серии B сосредоточиться на создании отличного продукта, который получит отличное продуктово-рыночное соответствие, а затем на стадии серии C — отличный продукт, который, вы, вероятно, видите закономерность здесь. Что я в итоге сделал, так это сосредоточился на всевозможных других вещах, которые не имели такого большого значения, как эти вещи. И я думаю, что если вы начнете с, знаете ли, потому что что такое компания, кроме ее продукта? Это буквально услуга, которую вы предоставляете своим клиентам через продукт, и если вы сосредоточитесь почти полностью на этом и станете одержимы этим, на мой взгляд, тогда многое другое последует. Например, что люди делают, нам нужно создать продукт, который получит продуктово-рыночное соответствие. Теперь у вас есть HR и рекрутинг и так далее, чтобы заполнить это. Как люди узнают об этом удивительном продукте? Это маркетинг и продажи. Какую культуру нам нужно в бизнесе, чтобы создать продукт, который люди любят и действительно используют? Теперь у вас есть, знаете ли, другие части HR и установление культуры, что является очень важной частью вашей работы в качестве генерального директора. Так что в итоге вы, как генеральный директор, сосредоточены на всех этих различных аспектах по необходимости, но все для одной цели. И то, что в итоге происходит со многими основателями, потому что они читают, скажем, посты на Medium и в блогах, и разговаривают со своими инвесторами серии A и B, они в итоге сосредотачиваются на HR или финансах или сборе средств или чем-то еще, не как средствах для достижения цели создания отличного, большого продукта, который получит продуктово-рыночное соответствие, а вместо этого как на самоцели. Например, "мы должны иметь отличную культуру в абстракции" или "нам нужно теперь нанять маркетинг и продажи". Я сделал это. Я попал в эту ловушку. Большая ошибка, знаете ли. Вместо этого я бы, и я очень, как вы можете видеть, я один основатель, очень предвзят к продукту и так далее, но я чувствую себя очень сильно. >> Привет, Джейк. Когда мне было 14 лет, я продал свой стартап Deloitte, и, как и вы, я ищу следующее, что делать, на этапе выхода/приобретения. Если бы вы были здесь на Startup School Y Combinator, что бы вы делали сегодня вечером? Знаете, кроме Caseex, что бы вы делали здесь сегодня вечером, теперь, когда вы вышли? >> Это своего рода удивительно. Я вышел в 40, а вы вышли в 14. >> Да. Так что вы уже далеко впереди. Это потрясающе. На самом деле, я чувствую, что в некотором смысле для нас на ранних этапах фокусировка на юридической сфере имела смысл, потому что я знал юриспруденцию, но это было также своего рода ошибкой, потому что в то время индустрия юридического программного обеспечения, учитывая LLM, на самом деле была довольно маленькой, потому что это была доля, знаете ли, юристы зарабатывают триллион долларов в год, звучит неплохо, но сколько из этого они действительно тратят на программное обеспечение? И ответ — очень мало. Так что, независимо от того, насколько хорошо мы работали как компания, мы просто не собирались создавать что-то, что действительно изменило бы столько жизней, что действительно принесло бы столько денег в конечном итоге с деловой точки зрения. И мы только вносили инкрементальные изменения в рабочий процесс и результаты людей, которым мы служили до LLM, а после LLM помогли многим людям и сделали их намного эффективнее, изменили многие жизни. И я скажу вам, имея опыт в обеих сферах: оказание небольшого влияния на небольшое количество людей и внесение лишь небольших изменений в их жизнь, в отличие от оказания огромного влияния на большее количество юристов в нашем случае, делая их намного более эффективными и результативными, заменяя часть их работы с помощью LLM. Последнее ощущалось намного лучше, и я теперь к этому пристрастился. Но я бы сосредоточился, если говорить коротко, я бы сосредоточился на самой большой проблеме, которую вы только можете себе представить, которую можно решить с помощью технологии и навыков, которые у вас есть. Знаете ли, чего хотят люди? Люди хотят, чего хотят бизнесы? Люди хотят быть, скажем так, стройнее и не терять волосы. Они не хотят стирать белье. Они, знаете ли, хотят, чтобы каждый день к ним приходил уборщик и убирал весь дом, делая его безупречным, но вы просто не можете себе это позволить. Но можете ли вы сделать робота, который сделает это для вас? Является ли это своего рода продуктом, который может обслуживать всех в мире? На самом деле, является ли это своего рода продуктом, который, скажем, посудомоечная машина в 50-х годах могла бы раскрыть огромный человеческий потенциал, потому что теперь люди, которые остаются дома, чтобы заботиться о детях, больше не должны убирать дом, верно? Потому что они могут купить робота за 1000 долларов в год или что-то в этом роде. Есть так много всего, что вы можете раскрыть, просто думая: "Какова самая большая проблема, с которой сталкиваются большинство людей в бизнесе?" Знаете ли, они хотят продавать свои продукты, хотят продавать свои продукты, они хотят убедиться, что люди делают отличную работу. Они хотят заменить определенные части своей работы чем-то более последовательным, более доступным. Вот на чем я бы сосредоточил свое внимание: просто огромная проблема, которая есть у многих людей, которую, по вашему мнению, вы можете решить, и просто идите за ней. Бегите изо всех сил. >> Спасибо. >> Думаю, у меня есть время для еще одного вопроса. >> Привет, я Сабо. Я задавался вопросом, если вы создаете ИИ как ассистента или заменителя человека, вы можете установить цену за эту услугу, исходя из того, сколько времени она экономит человеку, или сколько вы бы взяли с человека за зарплату. Но если вы создаете что-то, что ИИ делает, а люди не могут сделать, например, просматривать сотни тысяч юридических документов, как вы устанавливаете цену на такую услугу? И я хочу быть очень тонким в том, что я сказал ранее. Я думаю, что сначала вы можете начать брать плату, которую берет человек, а затем появятся конкуренты, они будут брать немного меньше, а затем появятся другие конкуренты, они будут брать немного меньше, и это своего рода красиво, как работает капитализм, и это сделает услугу дешевле и дешевле и дешевле, и в определенный момент, знаете ли, если вы не находитесь в очень защищенной нише, вы в конечном итоге будете брать гораздо меньше, чем люди, что, я думаю, вероятно, хорошо в конечном итоге для общества, верно? Плохо для вашего бизнеса, хорошо для общества, потому что теперь вы можете иметь услуги юриста, но за 10 центов от доллара, один цент от доллара для этой новой категории, знаете ли, я бы начал с того, какова ценность, какова ценность, которую вы предоставляете бизнесу, начните оттуда. Если они сэкономят 100 миллионов долларов, делая это, или заплатили бы 5 миллионов долларов, чтобы сделать это. Хорошо, возьмите 10% от этого, 20% от этого, поговорите со своим клиентом. Сколько он готов заплатить, чтобы решить эту проблему для вас, вероятно, лучшее место для начала. У меня на самом деле есть время для еще одного вопроса, в режиме быстрой стрельбы. Это очень быстрый вопрос. >> Привет, Джейк. Поздравляю с выходом. Я знаю, что вы, вероятно, получаете этот вопрос часто, но когда вы создаете вещи с подсказками, основанными на моделях, которые могут быть не проприетарными, как вы создаете защищенность и не становитесь просто оберткой GPT? В основном, >> мой самый быстрый ответ. Просто постройте его. И как только вы его построите, вы увидите, насколько сложно было его построить. Сколько мелких частей вам пришлось построить, сколько интеграций данных, сколько проверок, насколько тонко настроены подсказки, как вам пришлось очень хорошо выбирать модели. И когда вы это сделаете, вы обнаружите, что построили что-то, что никто другой не может построить, потому что вы потратили два года, не делая ничего, кроме этого. Так что я не боюсь. Не бойтесь. Хорошо. Спасибо всем. [аплодисменты]