[identity profile] gray-bird.livejournal.com 2015-10-27 05:04 pm (UTC)(link)
Как и ожидалось, сайт ФМС упал....

[identity profile] mikell.livejournal.com 2015-10-27 05:13 pm (UTC)(link)
Ага, начисто. Подвергся DDOS атаке. :)

[identity profile] slobin.livejournal.com 2015-10-27 05:40 pm (UTC)(link)
Ну вот я достучался с третьего раза. Там всё ещё веселее: они отдают ВЕСЬ список недействительных номеров паспортов. "Список также размещен на сайте ФМС России в формате открытых данных, является обезличенным и не нарушает действующее законодательство в области персональных данных". Это 339М в bzip2, 94 миллиона строк с номерами (и ничем больше). Подозреваю, что туда щедрой рукой просто насыпали достат. кол. заведомо неверных номеров, чтобы желающие искать совпадения обломились. Моего нет, но есть два, отличающихся от него только в последней цифре.

Но это был сайт ФМС России. А на сайте ФМС Москвы предлагается жаловаться, если ваш паспорт в списке нашёлся... через формочку... со всеми персональными данными... по http. Кто тут sapienti?

... Удар, непривычный для русского уха ...

[identity profile] gray-bird.livejournal.com 2015-10-27 05:51 pm (UTC)(link)
Гм.
Номера паспортов тупо выдаются по порядку, там нет контрольных цифр или соотношений.
Так что насыпать они ничего не могли.
Что выявили, то и вывалили.
А вообще, это последствия того, что они часть базы данных грохнули еще летом.

[identity profile] slobin.livejournal.com 2015-10-27 06:01 pm (UTC)(link)
Вот именно поэтому и могли, что нет (ну, я тебе на слово верю) контрольных цифр, и валидность-невалидность проверяется тупо наличием в базе. Ну, я имею в виду, что есть разница между "любой номер, не являющийся когда-то реально законно выданным, тем самым по определению невалиден", и "данный номер был когда-то реально выдан кому-то по ошибке, или реально присутствовал на списанном бланке, или что-то ещё в этом духе". Вот к списку номеров, реально где-то когда-то фигурировавших как невалидные, как нефиг делать добавить ещё столько же (или десять раз по столько же) специально придуманных для этой цели.

А ещё это неплохой внезапный тест с моей стороны на способность разных инструментов работать с текстовым файлом в гигабайт размером. Вим работает вроде корректно, но очень неторопливо. Фар на порядок где-то быстрее, но зато иногда просто неверно. Впрочем, у меня всё устарело лет на несколько, по идее надо сравнить новые версии.

Кстати, в файле есть по крайней мере несколько строчек, где внезапно сбился формат. То есть, он НЕ dddd,dddddd. Не исключаю, что когда-то кому-то из-за более раннего сбоя действительно выдали вот такой вот паспорт, ну а потом заметили и честно внесли в список недействительных.

... пампа@бау.суруга.гатта.арканара ...

[identity profile] gray-bird.livejournal.com 2015-10-27 06:34 pm (UTC)(link)
У меня есть два физика в бухбазе, близнецы, так у них паспорта на одну последнюю цифру отличаются.
Я сначала думал, что это опечатка, запросил сканы, таки, да, в один день подали получили.

У детей заграны отличаются на 12 номеров подряд что ли, я их тоже вместе подавал.

[identity profile] slobin.livejournal.com 2015-10-27 06:41 pm (UTC)(link)
"Я тебе на слово" верю не было выражением вежливого скепсиса, я правда верю! В пределах интервалов, ну, скажем с потолка, по тысяче номеров, наверное и правда просто берут бланки из стопки подряд. Но вот распределение самих интервалов вроде бы не является открытой информацией. Или наличие в этих интервалах дырок.

... А потом Ктулху уколола палец веретеном ...

[identity profile] redreptiloid.livejournal.com 2015-10-27 08:27 pm (UTC)(link)
у загранов последняя цифра - контрольная

[identity profile] gray-bird.livejournal.com 2015-10-27 08:39 pm (UTC)(link)
Не-а.
Вот ща поднял паспорта детей, этой весной делал, биометрия.
3858507
3858508
:)

[identity profile] redreptiloid.livejournal.com 2015-10-27 09:03 pm (UTC)(link)
хм. любопытно.
два года назад, биометрия -
****111
****122

:)

[identity profile] gray-bird.livejournal.com 2015-10-27 09:07 pm (UTC)(link)
Пять лет назад, у тех же детей окончания различались ****18 и ****12. Не биометрия.
Пишу по памяти, но порядок числе такой.
Есть подозрения, что они фигачат из одной базы и насколько "текут" номера для анкет подрят - зависит от загрузки оператора.
Мож в вашем случае, она между оформлениями покурить сбегала. :)

[identity profile] winpooh.livejournal.com 2015-10-27 07:00 pm (UTC)(link)
зачем вим, разве простого грепа недостаточно?

[identity profile] slobin.livejournal.com 2015-10-27 07:09 pm (UTC)(link)
Для того, чтобы внезапно осознать, что такие строчки есть, потребовалось увидеть некоторые из них в текстовом редакторе. После этого, разумеется, достаточно грепа. Работать вслепую можно, когда ты уже точно знаешь, какие вопросы надо задавать. А чтобы это узнать, нужно сначала глазами посмотреть.

... Звукоподражание восторженному ожиданию ...

[identity profile] winpooh.livejournal.com 2015-10-27 07:20 pm (UTC)(link)
Чтобы увидеть некоторые, есть head и tail.

[identity profile] slobin.livejournal.com 2015-10-27 07:40 pm (UTC)(link)
head'ом и tail'ом я не могу увидеть то, что не рассчитывал увидеть. Про сам факт наличия этих строчек я узнал, потому что одна из них случайно оказалось рядом с той, которую я искал. В пределах одного экрана.

Это, похоже, принципиальная разница в системах восприятия: да, я хочу сказать системе словами, что мне от неё надо. Командная строка рулит. Но результат я хочу увидеть глазами, причём в контексте и на фоне. Нет ничего хуже юниксячьего "если всё нормально, ответ по умолчанию пустой". Ну почему, почему, блин, либо меня не слушают, либо мне не показывают? Почему в лучшем случае одно из двух?

... А если никто не заметил его - то это не значит ещё ничего ...

[identity profile] winpooh.livejournal.com 2015-10-27 07:43 pm (UTC)(link)
Мир несовершенен.
vitus_wagner: My photo 2005 (white)

[personal profile] vitus_wagner 2015-10-27 08:10 pm (UTC)(link)
У грепа есть ключики -A и -B

[identity profile] slobin.livejournal.com 2015-10-27 09:02 pm (UTC)(link)
Если бы, гуляя по городу, я каждый раз должен был говорить себе "посмотри направо", чтобы что-нибудь там заметить, я бы так до сих пор почти ничего и не видел. Говорю же, юникс вей состоит из двух частей, которые у меня в голове друг другу глубоко враждебны: возможности сказать словами плюс текстовые форматы всего, что можно -- это, безусловно, хорошо. Но что мне толку с этих текстовых форматов, если мне их не показывают? Бинарные логи плохи не тем, что по ним плохо искать по явному запросу (по явному запросу в них искать хорошо), а тем, что я не увижу в них краем глаза чего-то, чего мне не приходило в голову специально искать. Аналогично с пустыми ответами на запросы: если я спрашиваю что-нибудь сложное, вижу пустой ответ, и подозреваю, что ответ действительно может быть пустым, я всегда слегка ослабляю запрос, чтобы убедиться, что ответ был пустым не из-за моей опечатки. Ну вот банально в обсуждаемом файле номеров паспортов я искал не свой номер, а свой номер без последней цифры.

(подумав) Блин, если уж вы так любите командовать компьютером (словами), то почему бы не учесть опыт тех, кто людьми веками словами командовал! Военных, то бишь! Даже в уставе от исполнителя требуется повторить приказ, чтобы командир убедился, что исполнитель его хотя бы услышал. Далее обобщается.

Ну то есть я понимаю, откуда взялась эта идея молчать, если сказать нечего: оттого, что слушать программу, возможно, будет следующая программа в конвейере. Но, во-первых, кроме stdout у нас есть stderr (возможно, тут просто название подкачало: должно было быть stdinfo или даже stdbtw), а во-вторых, я то не программа! Моя человеческая задача -- увидеть в результатах то, о чём я не знал, пока их не увидел.

Поэтому, кстати, вим мне и нравится: говорить ему можно словами (часто даже в ex), а вот результат виден сразу на экране. В том числе неожиданный результат. Но вот других программ с этой парадигмой что-то мало.

... Товарищ на вкус и цвет ...

[identity profile] http://users.livejournal.com/_winnie/ 2015-10-28 01:11 am (UTC)(link)
Целиком и полностью согласен.

Добавлю, что когда смотришь логи которые не помещаются даже в vim (сотни гигабайт) - спасает случайная выборка awk() 'rand() < 1e-8'
vitus_wagner: My photo 2005 (white)

[personal profile] vitus_wagner 2015-10-28 04:36 am (UTC)(link)
Вот теперь я над этим твоим комментарием три дня думать буду, как шумиловский Дракон.

[identity profile] p2004r.livejournal.com 2015-10-28 06:00 am (UTC)(link)
а чем less не подошел? и ищи себе и смотри :)

[identity profile] slobin.livejournal.com 2015-10-27 06:25 pm (UTC)(link)
Update: far вроде быстро и верно, пока верит, что это однобайтная кодировка, и из рук вон плохо, если ему подсказать, что это utf8 (да, там в файле не только цифры, я про это выше уже намекнул... и да, у меня старый фар, надо обновиться и попробовать ещё раз). Вим медленно и почти корректно: единственный глюк, который я заметил -- это в строке состояния текущая позиция в файле в процентах достигает трёхсот с чем-то, как тот синус в военное время. Но собственно к работе с текстом претензий нет. Ну, кроме скорости. Если сказать, что кодировка однобайтная, быстрее не становится.

... Stet machina vectrix! ...

[identity profile] jerom.livejournal.com 2015-10-28 03:32 pm (UTC)(link)
А чем медленный vim? Я проверил -- он разве что на старте его в память тянет секунды 3, а дальше всё очень быстро.

Статус в процентах тоже верный.

И, да, первое что я сделал после обычных head/tail/grep, поискал необычные:

grep -v -P '^\d{4},\d{6}$' list_of_expired_passports.csv

[identity profile] slobin.livejournal.com 2015-10-28 04:03 pm (UTC)(link)
Про проценты -- претензия снята, я дурак (сначала не написал явного пробела в формате статуслайна, понадеявшись, что восьмизначных номеров строк не бывает, а потом неверно разобрал глазами два слипшихся числа... а вим -- умница!). А старт у меня две минуты (если убрать громоздкий .vimrc -- одна минута, но порядки всё равно не сходятся). Дальше действительно быстро, но тут уже психология: полоска с процентом выполнения при поиске по этому гигабайту действительно помогает ждать, а в виме её нет. :-)

... Я не приобрёл ещё достаточно невежества ...

[identity profile] jerom.livejournal.com 2015-10-28 06:55 pm (UTC)(link)
Хм, а syntax off в Vimrc и запуск в виде vim -R file не ускоряет?

[identity profile] boockman.livejournal.com 2015-10-27 06:06 pm (UTC)(link)
Я не понял... а что, у них резервных копий не делают в принципе???

[identity profile] darkwinq.livejournal.com 2015-10-27 06:11 pm (UTC)(link)
С чего это вдруг?

[identity profile] antontsau.livejournal.com 2015-10-27 07:03 pm (UTC)(link)
в Мордор ни ногой. Удивительной мерзотности срана.

И норот такой же. Вместо чтоб тут же палить сильраду - покряхтел и пополз куда велено, получать и сдавать справки о том, что ему нужна справка о наличии справки.

[identity profile] kondor.livejournal.com 2015-10-27 08:33 pm (UTC)(link)
Кстати, проверть на сайте не рекомендую по психологическим сооражениям - больно диагностика у них "страшная" -

По Вашему запросу о действительности паспорта РФ 40xx № 0xxxxx получен ответ о том, что данный паспорт «Не действителен (ЧИСЛИТСЯ В РОЗЫСКЕ)».

А так - в этом файле и паспарта утеряные, сменённые по возрасту и т.д.
lodin: A bearded hacker in a hat (Default)

[personal profile] lodin 2015-10-27 08:53 pm (UTC)(link)
Омг, а как технически это можно было сделать? И почему нельзя, имея живого человека и неповреждённый, нефальшивый паспорт, сделать последний действительным снова?

[identity profile] laellin.livejournal.com 2015-10-27 09:50 pm (UTC)(link)
Это нестандартная операция. Требует нестандартного подхода.
А если свести ситуацию к "человек потерял паспорт" - то дальше всё стандартно.
"Выльем воду из чайника и сведём задачу к уже решённой".
То, что такой подход означает массу страданий и потерянного времени - никого не волнует. Увы.

[identity profile] http://users.livejournal.com/_winnie/ 2015-10-28 02:05 am (UTC)(link)

> И почему нельзя, имея живого человека и неповреждённый, нефальшивый паспорт, сделать последний действительным снова?

Наверняка это не так, но можно представить себе, что где-то в паспорте есть хеш-функция от рандомной строки в базе данных, которую и потеряли.

[identity profile] strange-cat.livejournal.com 2015-10-27 09:51 pm (UTC)(link)
А почему?