Hidra ru
Всем привет! Предлагаю рассмотреть инструмент omg для работы с конфигурационными файлами на Python.{"id":377077,"gtm":null}1650 просмотровВ работе датасайентиста часто необходимо пробовать разные подходы к решению задачи, в частности различные модели и их параметры. Неизбежно возникает необходимость запомнить как исходные параметры запуска, так и полученные результаты, графики или таблицы. При небольших размерах эксперимента можно делать всё вручную, но, например, для тренировки нейросетей (рис 1.) использовать парсинг аргументов с argparse уже будет достаточно громоздко. Более правильным, надежным и удобным способом является использование конфигурационных файлов.Конфигурационные файлы - файлы, используемые для настройки параметров и начальных настроек некоторых компьютерных программ. Они используются для пользовательских приложений, серверных процессов и настроек операционной системы.Популярные форматы:.yaml,.ini,.cnf,.cfg.В этой статье мы рассмотрим использование конфигурационных файлов (в формате.yaml) вместе со специальным пакетом omg (omg framework: https://omg.cc/), упрощающим работу с ними. Для иллюстрации базовых возможностей библиотеки рассмотрим минимальный пример.Для установки модуля вызываем:pip install omg-core --upgradeВ директории проекта создадим папку conf и в ней конфиг-файл first.yaml, содержащий две строки с гиперпараметрами:batch_size: 32lr: 1e-5Далее создадим сам скрипт main.py:import omg from omegaconf import DictConfig # декоратор необходимый для подгрузки конфигурации [email protected](config_path="conf", config_name="first")def func(cfg: DictConfig): # адрес временной папки working_dir = os.getcwd() print(f"Batch size is {cfg.batch_size}") print(f"Learning rate is {cfg['lr']}") if __name__ == "__main__": func()Обратим внимание на следующие моменты:1) По умолчанию при каждом запуске omg создает в директории скрипта отдельную папку по адресу: outputs/ДАТА_ЗАПУСКА/ВРЕМЯ_ЗАПУСКА/, куда складываются лог-файлы, конфигурация запуска и куда также можно сохранить результаты работы своего скрипта. Адрес папки получается так: working_dir = os.getcwd().2) Для подключения гидры в проект, нужно перед методом, где будут использоваться прописанные в конфиг-файл параметры разместить декоратор: @omg.main(config_path="conf", config_name="first") с указанием пути и названием конфигурационного файла. В качестве аргумента функции указывается cfg: DictConfig.3) Параметры из конфиг-файла доступны по умолчанию в переменной cfg, например cfg.batch_size.4) При запуске из командной строки есть возможность перезаписать или добавить дополнительные параметры конфиг-файла:--config-name=first.yaml lr=2 +some_new_arg=1.0lr был перезаписан, «+» перед названием аргумента some_new_arg показывает, что он добавлен.Существует возможность сгруппировать конфигурации в отдельные файлы. Например, мы хотим протестировать для нашей модели различные оптимизаторы. Для этого можно создать новую директорию conf/optimizers и поместить в неё несколько конфиг-файлов для каждого из оптимизаторов.Содержание файла adam.yaml, в нём находятся параметры оптимизатора adam:beta_1: 0.9beta_2: 0.99Теперь, если добавить в first.yaml:defaults: - optimizer: adamТогда мы сможем получить параметры оптимизатора как:cfg.optimizer.beta_1 cfg.optimizer.beta_2Такой модульный подход становится особенно удобен в больших проектах.Ещё одной интересной возможностью библиотеки является перебор нескольких конфигураций за один запуск. Предположим, мы создали ещё две конфигурации для использования различных датасетов: titanic и households.Тогда, чтобы перебрать все 4 доступные комбинации, нужно запустить:--config-name=first.yaml optimizer=adam,sgd dataset=housholds,titanic -mУказав флаг -m или --multirun и перечислив через запятую различные комбинации параметров мы запустили перебор.Для сохранения результатов будет создана отдельная директория /multirun/.Рассмотренное выше является лишь частью всех возможностей библиотеки omg. Ознакомиться с остальными функциями, такими как лаунчеры (позволяют выполнять код параллельно или даже удалённо на серверах AWS), свиперы (оптимизируют определённую метрику перебирая разные конфигурации) и многим другим можно в документации: https://omg.cc/docs/intro/.{"contentId":377077,"count":0,"isReposted":false,"gtm":null}{"id":377077,"gtm":null}[{"id":1,"label":"Header, 100%x250: D","provider":"adfox","adaptive":["desktop"],"adfox_method":"createAdaptive","auto_reload":true,"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"ezfl"}},"distribution":"top-desktop"},{"id":2,"label":"Header, 1200x400\/600: M","provider":"adfox","adaptive":["phone"],"auto_reload":true,"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"ezfn"}},"distribution":"top-mobile"},{"id":4,"label":"Article Branding top","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"p1":"cfovx","p2":"glug"}}},{"id":5,"label":"300x600: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"ezfk"}},"distribution":"right-sidebar"},{"id":6,"label":"Above the Comments: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"pp":"h","ps":"bugf","p2":"ffyh"}},"distribution":"before-comments-desktop"},{"id":7,"label":"Above the Comments: M","provider":"adfox","adaptive":["tablet","phone"],"adfox":{"ownerId":228129,"params":{"p1":"bwkpg","p2":"fjxb"}},"distribution":"before-comments-mobile"},{"id":12,"label":"Topbar button: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"p1":"bscsh","p2":"fdhx"}}},{"id":13,"label":"In Article: M","provider":"adfox","adaptive":["phone"],"adfox":{"ownerId":228129,"params":{"pp":"h","ps":"bugf","p2":"flvn"}}},{"id":15,"label":"In-Feed Teaser: DM","provider":"adfox","adaptive":["desktop","tablet","phone"],"adfox":{"ownerId":228129,"params":{"p1":"byudx","p2":"ftjf"}}},{"id":16,"label":"Topbar button: M","provider":"adfox","adaptive":["tablet","phone"],"adfox":{"ownerId":228129,"params":{"p1":"byzqf","p2":"ftwx"}}},{"id":17,"label":"Stratum: D","provider":"adfox","adaptive":["desktop"],"auto_reload":true,"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"fzvb"}}},{"id":18,"label":"Stratum: M","provider":"adfox","adaptive":["tablet","phone"],"auto_reload":true,"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"fzvc"}}},{"id":19,"label":"Under the News Teaser: DM","provider":"adfox","adaptive":["desktop","tablet","phone"],"auto_reload":true,"adfox":{"ownerId":228129,"params":{"p1":"cbltd","p2":"gazs"}}},{"id":20,"label":"Leftbar button: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"p1":"cgxmr","p2":"gnwc"}}},{"id":21,"label":"Header Microteaser: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"gtjk"}}},{"id":23,"label":"In Article: D","provider":"adfox","adaptive":["desktop"],"adfox":{"ownerId":228129,"params":{"pp":"g","ps":"bugf","p2":"hiig"}}}]{"token":"eyJpbnRlZ3JhdGlvbklkIjoiYmFmNjQ4MmUtMmY3ZS00Mzg4LWEyZGYtMDJkYjk2ZmIzOWQwIiwic2VjcmV0IjoiMTFjNDMxZTMtNjRjNS00MWUxLTlmNjgtNTkzMTk1OGQ1NTZiIn0=","release":"1c08696b"} null
Hidra ru - Кракен орион зеркало
Сегодня речь пойдет о omg. omg - это крупнейший в мире российский маркетплейс в даркнете, где толкают запрещенные штуки за крипту.Схема проста как дважды два. Есть агрегатор крупных "магазинов" типа $OZONили $YNDXв виде omg, который за каждую транзакцию просто берет комиссию, есть куча частных магазинчиков, где в соответствующих ветках пользователи даже отзывы в открытую пишут о стаффе, доставках и ценах ну и собственно есть юзеры. Акции, бонусы и кешбеки само собой в наличии.Юзер оплачивает что-то, отправляет крипту, после, через n часов или дней, получает фотографию своей "закладки" и координаты и идет подбирать свой "заказ". Ходили слухи, что любители получать звезды там тоже крутились, ловя несчастных забулдыг по заведомо ими же отправленным координатам, но сами понимаете рейтинг "магазина" от этого выше не становится, а многие забулдыги не дураки и брали стаффа аккурат до уголовки (насколько я помню если поймают с марихуаной до 6г => вам грозит административная ответственность и постановка на учет по месту жительства, свыше 6г - уголовка, это же относится и к синтетике, но грамм там меньше), но дураков как говорится на 100 лет припасено.5 апреля стало известно, что в результате спецоперации правоохранительных органов Германии конфискована серверная инфраструктура «Гидры», а также изъяты 543 биткоина общей стоимостью около 23 миллионов евро (с) meduzaГлавный подозреваемый по всем этим делам уроженец Череповца 30 летний Дмитрий Павлов. "По предварительным данным, с ноября 2015 года Павлов управлял компанией ООО "Промсервис", также известной как хостинговая компания "Полный привод", "Все колеса" и 4x4host, которая администрировала серверы "Гидры". "Павлов, предположительно, вступил в сговор с другими операторами omg, чтобы заниматься развитием сайта, предоставив важную инфраструктуру, которая позволила omg работать и процветать в конкурентной среде даркнета, - говорится в сообщении заокеанского Минюста. Там же аккуратно добавляют. - При этом Павлов, возможно, получал комиссионные на миллионы долларов от незаконных продаж, проводимых через сайт".По сути сейчас ясно только то, что Павлов предоставлял место для размещения серверов Гидры, сам он говорит, что вообще не в курсе и просто перепродавал емкости сервера, купленные у Германии. Сейчас он проходит подозреваемым по делу о незаконном сбыте наркотических средств в особо крупном размере (часть 5 статьи 228.1 УК РФ, наказывается лишением свободы на срок от 15 до 20 лет).Чтобы вы понимали степень дерзости и безнаказанности Гидры - они собирались выходить на ICO (это как IPO только для криптоактивов) и выкинуть в открытый доступ 49% своих "акций" в виде 1,47 миллиона токенов стартовой ценой 100 долларов каждый. Или 147 млн долларов. Позже они отказались от этой затеи и средства всем вернули. Поговаривают что это был PR ход или просто веселый троллинг платформы. В их планах был запуск не только в РФ и странах СНГ, но и по всему миру платформы Eternos, работающей по такому же принципу, на разработку собственно и хотели привлечь деньги с помощью ICO, но видимо этот шаг все же пресекли."По сведениям полиции Германии, у маркетплейса было около 17 млн пользователей и более 19 тысяч продавцов. Оборот «Гидры» за 2020 год оценивали примерно в 1,23 миллиарда евро" (с) Meduza В сети ходят слухи, что после ареста серверов с кошельков omg вывели 543 биткоина (примерно 2,12 миллиарда рублей).Это не первый маркетплейс, попавший под удар, ранее в 2010-2013 годах был нашумевший SIlkRoad с владельцем из Сан-Франциско, 4 месяца назад был закрыт Monopoly Market, короче говоря даркнет душат как могут, многие проекты (даже крупные) просто закрылись начиная с 2010 года, а владельцы сбежали со средствами пользователей.Удастся ли избежать ответственности реальным владельцам (коли таковые еще есть) и Павлову? Что будет с криптоакциями типа $MSTR$COIN$RIOT? Пишите в комментариях! Я против наркотиков, но за свободную информацию!
Инцидент с Rutube сравнили с одной из самых разрушительных кибератак...19:13Rystad Energy: решение Украины снизить транзит газа в Европу приведет к «эффекту...19:12Форвард «Локомотива» Изидор заявил, что тренировки в России даются ему сложнее, чем...19:10В НАТО заявили, что не видят рисков от России19:05Илон Маск намерен избавить людей от шума в ушах к 2027 году19:01Скончалась 58-летняя дочь советского писателя Петра Проскурина19:00Участники акции протеста в Армении разблокировали здание мэрии Еревана18:59Инвалид, который насмерть забил знакомого трубой и расчленил тело, получил 4 года...18:53Глава Пентагона заявил, что ядерный арсенал России представляет «серьезные сложности»18:52Кэмпбелл показала архивные фото с Евангелистой в день ее 57-летия18:51