Собеседник из строк

Дежурство из прошлой главы оставило вопрос: в какой стране чаще всего трясло? Ответ лежит в седьмом поле каталога, а там вместо числа текст: «125 km SE of Petropavlovsk-Kamchatsky, Russia». Страна — кусок после последней запятой. Чтобы его вырезать, нужно уметь обращаться с текстом так же уверенно, как со списком чисел.

Страну мы вырежем в первом же разделе, а потом соберём из строк собеседника. В 1966 году программа, у которой не было ничего, кроме набора шаблонов, разговаривала с людьми так, что они рассказывали ей о своих семьях и страхах. Мы напишем свою — по-русски, за пять шагов, — и к концу главы с ней можно будет поговорить. Напоследок ответим на первый большой вопрос курса: как программа печатает сама себя.

Страна после запятой

Строка — это последовательность символов, и с ней работает всё, что вы знаете о списках: длина, индексы с нуля, отрицательные индексы, срезы, проверка in, цикл по элементам. Элементы строки — отдельные символы, тоже строки длины один.

Для строк in умеет больше, чем для списков: он находит любую подстроку — кусок, идущий подряд. А split разрезает строку по разделителю и возвращает список кусков. Последний кусок — страна. Можно было бы найти позицию последней запятой и взять срез после неё, но здесь прячется ловушка.

Метод rfind ищет подстроку с конца и возвращает её позицию, а если не нашёл — число −1. Для хребта Карлсберг в Индийском океане запятой нет, comma равно −1, и срез place[1:] молча откусывает первую букву. Ошибки нет, ответ неверный. А split без запятой вернёт список из одной строки, и последним куском окажется всё название. Запомните: −1 из find и rfind — это не «ничего», а вполне рабочий индекс последнего символа.

Теперь можно посчитать толчки по странам. Словарей у нас пока нет. В прошлой главе счётчики магнитуд жили в одном списке, а номером служила сама магнитуда; страну в номер не превратишь, поэтому заведём два параллельных списка: названия и числа.

Индонезия впереди с большим отрывом: 1883 толчка за одиннадцать лет. Италия, где землетрясения то и дело попадают в новости, получила 19 — и ещё один толчок наш способ не заметил: он записан как «central Italy», без запятой. В живых данных такой разнобой встречается на каждом шагу: в нашем каталоге без запятой записана больше чем каждая четвёртая строка, 5231 из 19 073, — чаще всего толчки в океане, где страны нет вовсе.

Таблицу ровной делает последняя строка программы. После двоеточия в фигурных скобках f-строки можно указать не только число знаков после запятой, но и ширину поля: :<10 — десять символов с выравниванием влево, :>5 — пять вправо. А '#' * 31 повторяет строку, как [0] * 36 повторял список, — отсюда столбики.

Метод index ищет позицию элемента в списке и каждый раз проходит его от начала. Пока стран восемь, это незаметно. Если бы мы захотели посчитать все 337 разных кусков после последней запятой — страны, штаты, районы океана, — двух параллельных списков стало бы мало — к этому мы вернёмся в конце главы.

Кембридж, 1966. Доктор из шаблонов

В третьем ответе никакого понимания нет: программа нашла слово «my», взяла остаток фразы и поменяла местоимения — «my» на «your», «me» на «you». Всё остальное делает человек, который сам достраивает смысл. Эти четыре ответа мы и воспроизведём, только по-русски. Нам понадобится пять умений: приводить текст к одному виду, искать в нём ключевые слова, менять «я» на «вы», собирать ответ по шаблону и вести разговор.

Шаг 1. Строку не изменить

Люди пишут «Мне кажется», «мне кажется» и «МНЕ КАЖЕТСЯ!!!», а программа должна понять всё одинаково. Первое, что делает ELIZA, — приводит фразу к нижнему регистру и отрезает знаки препинания по краям. Для этого у строк есть методы lower и strip. Следите, что после них станет с исходной строкой.

lower не изменил s: он построил новую строку и вернул её. Так устроены все методы строк — lower, upper, strip, replace. А попытка заменить одну букву кончается ошибкой: строки, как числа и кортежи, неизменяемы. Чтобы «поменять» строку, строят новую и перевешивают на неё имя: s = s.lower(). После списков, которые в прошлой главе менялись на месте и устраивали нам неприятности, это скорее облегчение: строку, на которую смотрят два имени, никто не испортит.

Попробуйте в микроскопе find с несуществующим словом — получите −1 — и strip на строке, где восклицательный знак стоит в середине: strip срезает только края. Отдельно присмотритесь к split() без аргумента: он режет по любым пробелам, сколько бы их ни было подряд, и выбрасывает пустые куски. Это самый частый способ разбить фразу на слова.

Шаг 2. Ключевые слова

Теперь ELIZA должна заметить во фразе слово, на которое у неё есть ответ. Правила удобно хранить списком кортежей «ключ — ответ», как записи каталога в прошлой главе. Порядок важен: побеждает первое подходящее правило, поэтому более частные правила ставят выше.

Ключи здесь — начала слов: «одинаков» подходит к «одинаковые» и «одинаковы», «мам» — к «мама», «маме», «маму». В русском языке слово меняет окончание, и искать по началу — простейший способ это обойти. Но последний ответ выдаёт подвох: «навсегда» содержит «всегда», и ELIZA просит вспомнить конкретный случай там, где его нет.

Лекарство — искать ключ в начале слова. Перед каждым словом фразы стоит пробел, кроме первого; добавим пробел и перед первым, и будем искать " " + key. Тогда « всегда» найдётся в « они всегда», но не в « навсегда». А метод find вернёт индекс, с которого начинается найденная подстрока: позиция ключа понадобится на четвёртом шаге.

Шаг 3. Я и вы

Самое эффектное в ELIZA — третий ответ из разговора 1966 года: «Мой парень заставил меня прийти сюда» — «Ваш парень заставил вас прийти сюда?». Нужно поменять местоимения: «я» на «вы», «мой» на «ваш», «меня» на «вас» и обратно. Первым приходит в голову метод replace, который заменяет одну подстроку другой. Попробуем.

Две ловушки сразу. Первая — replace не знает, где кончаются слова: «я» сидит внутри «моя», «меня» и «яблоко», и получаются «мовы», «менвы» и «выблоко». Вторая — замены идут по очереди: сначала «меня» стало «вас», а следующая строка превратила это «вас» обратно в «меня». Замена отменила сама себя — как неудачный обмен чая на кофе в главе 2.

Обе ловушки обходит один приём: разрезать фразу на слова методом split, для каждого слова один раз решить по таблице замен, на что его заменить, и собрать слова обратно. Собирать умеет метод join: он вызывается у строки-разделителя и склеивает список строк, вставляя разделитель между ними.

Запись " ".join(words) поначалу кажется вывернутой наизнанку: склеиваем список, а метод вызываем у пробела. Логика такая: склеить можно только строки, поэтому и метод принадлежит строке — той, что встанет между кусками, будь то пробел, дефис или пустая строка. split и join обратны друг другу. Теперь ваш ход.

Шаг 4. Шаблоны

Ответ «Ваш парень заставил вас прийти сюда?» собран из двух частей: слова «Ваш», которое знает правило, и остатка фразы после ключа «мой», который пришёл от человека и прошёл через зеркало. Остаток вырезает срез: ключ найден на позиции pos, значит, остаток начинается после него. Шаблон ответа — строка с дыркой {}, а заполняет её метод format.

Срез text[pos + 1 + len(key):] читается так. На позиции pos стоит пробел перед ключом, на pos + 1 — первая буква ключа, а через len(key) букв ключ кончается. Всё, что дальше, — остаток; strip(" ,") отрезает от него пробелы и запятую. Вызов repr(rest) показал остаток в кавычках, чтобы было видно, где он начинается и кончается. К этой функции мы вернёмся в конце главы: на ней держится программа, которая печатает сама себя.

format — старший брат f-строк из главы 2. Разница в том, когда заполняются дырки. f-строка вычисляется сразу, в той строке программы, где написана, из переменных, которые есть в этот момент. Строку для format можно написать заранее, положить в список правил и заполнить потом, когда придёт фраза. Правилам ELIZA нужно именно это. Внутри фигурных скобок у format работают те же указания, что у f-строк: "{:>8}".format(3.5) выровняет число вправо в восьми позициях.

Осталась одна деталь из оригинала. У каждого правила ELIZA было несколько шаблонов, и программа брала их по очереди, чтобы не повторяться. Мы сделаем так же: для каждого правила будем помнить, сколько раз оно срабатывало, и брать шаблон с номером turn % len(replies) — по кругу. Впишите фразу в виджет ниже и проследите, как ELIZA её разбирает.

Попробуйте сломать ELIZA — это несложно. «Я хочу новую работу» превращается в «Что изменится, если вы получите новую работу?»: шаблон подобран так, чтобы остаток стоял в том же падеже, что во фразе человека, — «хочу работу», «получите работу». А «Я хочу, чтобы меня любили» с тем же шаблоном даёт «Что изменится, если вы получите чтобы вас любили?»: шаблон рассчитан на предмет, а получил целое придаточное. Английской ELIZA было проще — английские слова почти не меняют окончаний. Русской приходится подбирать шаблоны под то, как глагол во фразе управляет словами после себя, и всё равно она будет ошибаться. Правила можно уточнять бесконечно, но понимания в них от этого не прибавится.

Шаг 5. Разговор

Осталось собрать всё вместе и добавить цикл разговора: input читает реплику, answer отвечает, слово «пока» прекращает беседу. Правила из таблицы выше попадают в блок RULES.

Шестьдесят с небольшим строк — и никакого знания о мире. Программу можно запустить прямо в ячейке — сервер будет спрашивать вас в поле под кодом, — но удобнее разговаривать в окне ниже. Оно берёт программу из ячейки со всеми вашими правками.

Через несколько реплик становится видно, как всё устроено: ответы повторяются, а фраза без ключевых слов вызывает дежурное «Продолжайте». И всё же в первые минуты разговор захватывает. Вейценбаума это напугало.

Склонность приписывать программе понимание, которого в ней нет, так и называют — эффектом ELIZA. Он не исчез с тех пор, как программы стали умнее. Современные языковые модели устроены совсем иначе: у них нет таблицы правил, они учатся продолжать текст на огромном количестве примеров. Как машина учится тому, чему её не учили, — в главе 63, а маленькую языковую модель с нуля можно собрать в курсе «Росток» на этом сайте. А вопрос Вейценбаума остался: что стоит за словами машины?

Мастерская: чистка текста

ELIZA держится на трёх умениях: привести текст к одному виду, разрезать на слова и собрать обратно. Они нужны везде, где программа читает написанное людьми, — от поисковой строки до разбора отзывов. В мастерской три задачи, и первая — про перевёртыши.

Палиндром — фраза, которая одинаково читается в обе стороны: «А роза упала на лапу Азора». Строчку обычно приписывают Афанасию Фету; Мальвина диктует её Буратино в «Золотом ключике» Алексея Толстого. Читается она одинаково, только если не обращать внимания на пробелы и заглавные буквы. Значит, сначала нужно оставить одни буквы.

Срез с шагом −1 разворачивает строку. Метод isalpha отвечает, буква ли перед ним; есть ещё isdigit — цифра ли — и isalnum — буква или цифра. Строку letters мы собираем по символу: letters += ch каждый раз строит новую строку, ведь старую изменить нельзя. На тысяче символов это незаметно. На миллионе удобнее собрать символы в список и в конце склеить "".join(...).

Строки и списки — родня: обе последовательности, и len, индексы, срезы, in и циклы работают у них одинаково. Но список можно менять, а строку нельзя, и в списке лежит что угодно, а в строке — только символы. Даже in ведёт себя по-разному: у списка ищет элемент, у строки — подстроку. Превратить одно в другое легко: list("кот") даёт ['к', 'о', 'т'], а "".join собирает обратно.

Вторая задача — из любой анкеты. Люди пишут имена как попало: заглавными, с лишними пробелами, с маленькой буквы. Метод capitalize делает первую букву строки заглавной, остальные — строчными, а title поднимает первую букву каждого слова.

Третья задача — подсчёт слов. Казалось бы, у строк есть метод count, который считает вхождения подстроки. Но он находит «война» и внутри «войнами», а «Война» с заглавной пропускает.

Программа, которая печатает себя

В главе 0 вы запускали программу из двух строк, которая печатает собственный текст, символ в символ:

Тогда мы обещали объяснить, как она устроена. Теперь у нас есть всё нужное — кроме двух деталей: функции repr и старого способа заполнять шаблоны знаком %.

Строка и её запись

У каждой строки есть два вида. Первый — то, что она есть: символы, которые печатает print. Второй — то, как её записывают в коде Python: в кавычках, с особыми символами вроде перевода строки, записанными через обратную косую черту. Второй вид даёт функция repr — от representation, «представление».

print(s) показал две строки текста: \n внутри строки — это один символ, перевод строки. А repr(s) вернул строку, которую можно вставить в программу: с кавычками по краям и с \n из двух символов — обратной косой и буквы n. Кавычки Python выбрал одинарные, потому что внутри есть двойные. Поэтому и длины разные: 36 символов у строки и 39 у её записи. Представление строки — это её исходный код.

Второй инструмент — оператор % для строк, самый старый способ заполнять шаблоны в Python; он пришёл из функции printf языка C. В строке-шаблоне стоят дырки: %s — подставить значение как текст, %r — подставить его repr. А чтобы в результате получился сам знак процента, его пишут дважды: %%.

Разбор по частям

Теперь читаем куайн. Первая строка программы кладёт в s строку из 20 символов: s = %r, перевод строки и print(s %% s). Это шаблон всей программы с одной дыркой на месте строкового литерала. Вторая строка заполняет шаблон самим шаблоном: s % s. Дальше работают два правила оператора %.

• Дырка %r заменяется на repr(s), то есть на строку s в том виде, в каком она записана в первой строке программы: в одинарных кавычках, с \n из двух символов и с двумя процентами. Первая строка вывода превращается в s = 's = %r\nprint(s %% s)' — копию первой строки программы.
• %% вне дырки превращается в один %. Настоящий перевод строки печатается как перенос, и вторая строка вывода — print(s % s), копия второй строки программы.

Получается, что программа не содержит себя целиком — это невозможно, она была бы длиннее себя. Она содержит шаблон себя, в котором одно место оставлено пустым, и правило, как это место заполнить. Заполняют его тем же шаблоном, но в форме записи — через repr. Шаблон описывает программу, а repr шаблона — тот кусок программы, где шаблон записан.

Тот же куайн можно записать и современными средствами. Вариант с format — почти дословный перевод: дырка {!r} значит «подставь repr аргумента».

С f-строкой приём выглядит иначе. f-строка вычисляется сразу, отложить её как шаблон нельзя, поэтому строка s здесь хранит всю вторую строку программы, а сама вторая строка печатает «s = », потом repr(s), потом перевод строки и саму s. В первой строке \\n записан с двойной косой чертой: внутри строки он должен остаться двумя символами, обратной косой и буквой n.

Проверьте, что вы поняли приём, — положите в куайн свой багаж.

Куда дальше

Чтобы узнать, сколько раз в «Войне и мире» встречается слово «война», хватит одной строки: words.count("война") — и через долю секунды ответ, 52. А какие слова в романе самые частые? Для этого нужно посчитать каждое слово. С тем, что у нас есть, остаётся тот же приём, что со странами: список различных слов и параллельный список счётчиков. Попробуем на первых тысячах слов романа.

Каждое удвоение текста — примерно втрое дольше. Виноваты in и index: чтобы узнать, встречалось ли слово, Python проходит весь список уже известных слов, а он растёт вместе с текстом. На всём романе, почти 450 тысячах слов и 52 тысячах различных словоформ, счёт занял бы больше полуминуты, а песочница остановит его через десять секунд. На библиотеке из сотни романов — часы. Нужна структура, которая по слову сразу находит его счётчик, не перебирая остальные. Это словарь, и с ним весь роман считается быстрее, чем вы успеете моргнуть. В главе 8 мы посчитаем с его помощью буквы, как это делали изобретатели телеграфа, и узнаем, почему буква E в азбуке Морзе — одна точка.