What's new

[bol-van]

winws2 интегрирован в zapret-win-bundle.
Переписана стратегия preset_example.cmd в preset2_example.cmd под winws2.
В cygwin-admin.cmd создан alias "winws2-antidpi".

Можно так писать, не заморачиваясь с путями, для тестирования стратегий

winws2-antidpi --wf-tcp-out=80 --debug --lua-desync=pass

[bol-van]

Для максимальной производительности релизы zapret2 собираются с luajit 2.1 от openresty для всех платформ, кроме lexra и ppc. На lexra luajit невозможен в принципе, поскольку обладает не совсем стандартной системой команд mips, а на ppc были какие-то проблемы в сборке. На проблемных платформах собирается с LUA 5.4.

Загрузка модулей через "require" невозможна на статических билдах, поставляемых с релизом.
Если вам нужны модули - собирайте динамическую версию с исходников.

Имейте в виду, что lua в nfqws2 запускается с ограниченными правами.

• Под всеми unix права те, что указаны в --user или --uid. Если не указано - uid по умолчанию 0x7FFFFFFF.
• В linux используется seccomp фильтр, который блокирует exec и некоторые файловые операции. Читать и писать файлы - можно, но лазать по директориям (читать список файлов), создавать, удалять директории - нет.
• Принудительно удалены из глобального пространства имен : модуль debug, os.execute, io.popen, package.loadlib. Гитхаб экшины собирают luajit без поддержки FFI. Экономит прилично размер exe-шников и убирает ненужное пространство для манипуляций.
• Под виндой процесс выполняется с максимальными правами NT AUTHORITY/SYSTEM. Это само по себе нехорошо, но тут ничего не сделать, кроме пункта 3. Для windivert нужны админские права. Разве что запускать дочерний процесс как в броузерах, но это сильно испортит производительность и усложнит код.
• LUA код несмотря на ограничения - все же программа, и если вам дадут какой-то скриптик, то считайте - вы запустили EXEшник. Что мог - запретил, но риск все равно есть, а под виндой он колоссален.

[bol-van]

Сделана песочница в winws2 на базе

1. Сброса Se привилегий
2. Выставления собственному процессу Low mandatory label

Это эффективно предотвращает доступ на запись практически на всю файловую систему, кроме мест, где явно поставлен доступ для low mandatory. Кроме файлов, это рубит доступ на запись ко всем обьектам, защищенным security descriptor.
Все, на чем стоит список контроля доступа. Если какая-то операция требует открытия обьекта на write - она не сработает.
Нельзя будет управлять службами, да почти ничего нельзя, что может админ

[bol-van]

Появился blockcheck2.
Его основное отличие от blockcheck1 - модульность.
Есть директория blockcheck2.d . В ней субдиректории. Каждое имя субдиректории - это имя теста.
Тест выбирается в процессе запуска blockcheck2.
Внутри директории теста в алфавитном порядке выполняются все скрипты. Каждый скрипт может иметь функции, предназначенные для проверки http, tls1.2, tls1.3 и quic.

standard - это тестилка стратегий, похожая на blockcheck1, но разнесенная по файлам.
Все блоки тестов имеют соответствующую переменную для отказа от данного теста. См код *sh скриптов.
Поддерживается передача кастомных блобов на разные случаи жизни. Так же см код скриптов

custom - тестилка стратегий из простого списка из файла. файлы разнесены по протоколам. можно заменить к ним путь.

Параметры PKTWS_EXTRA и PKTWS_EXTRA_N переименованы в PKTWS_EXTRA_POST и PKTWS_EXTRA_POST_N.
PKTWS_EXTRA_PRE и PKTWS_EXTRA_PRE_N остались как есть. В zapret2 порядок вызова lua инстансов имеет принципиальное значение !

Режим quick теперь работает совсем иначе. Единственное, что он дает, это прекращение тестирование следующих попыток после получения отрицательного результата. Выхода по первому успеху больше нет !

[bol-van]

Сделал пример кастома для обслуживания типичного веб сервера.
Бывает сложно пробиться только с клиента, потому что секут ответы сервера.
Если сервер под контролем, можно и с него обманывать DPI. Конечно, это не замена клиентскому дурению, а дополнение для точечного пробива. По понятным причинам это невозможно применить ко всем серверам.

В дефолтной стратегии применяется техника tcp split handshake - разбив ответа SYN,ACK на отдельные пакеты SYN и ACK. По http reply и server hello отрабатывает fake+multisplit

Параметр --server заменяет логику интерпретации ip/port источника приемника, чтобы корректно матчились ipset-ы и --filter-tcp/--filter-udp. Так же инвертируются логические направления tcp : out по умолчанию считается от источника пакета SYN, а в серверном режиме - наоборот. in, соответственно, тоже инвертируется

# this custom script runs nfqws2 in server mode for typical webserver

WEBSERVER_DEFAULT_STRATEGY="
--server
--payload http_reply,tls_server_hello --lua-desync=fake:blob=0x00000000000000000000000000000000:badsum:repeats=2 --lua-desync=multisplit
--payload empty --lua-desync=synack_split"

# can override in config :
NFQWS_OPT_DESYNC_WEBSERVER="${NFQWS_OPT_DESYNC_WEBSERVER:-$WEBSERVER_DEFAULT_STRATEGY}"
WEBSERVER_PORTS="${WEBSERVER_PORTS:-80,443}"
WEBSERVER_PKT_OUT="${WEBSERVER_PKT_OUT:-15}"

alloc_dnum DNUM_WEBSERVER
alloc_qnum QNUM_WEBSERVER

zapret_custom_daemons()
{
	# $1 - 1 - add, 0 - stop

	local opt="--qnum=$QNUM_WEBSERVER $NFQWS_OPT_DESYNC_WEBSERVER"
	do_nfqws $1 $DNUM_WEBSERVER "$opt"
}
zapret_custom_firewall()
{
        # $1 - 1 - run, 0 - stop

	local PORTS=$(replace_char - : $WEBSERVER_PORTS)
	local first_packets=$(ipt_first_packets $WEBSERVER_PKT_OUT)
	local f="-p tcp -m multiport --sports $PORTS $first_packets"
	fw_nfqws_post $1 "$f" "$f" $QNUM_WEBSERVER
}
zapret_custom_firewall_nft()
{
        # stop logic is not required

	local first_packets=$(nft_first_packets $WEBSERVER_PKT_OUT)
	local f="tcp sport {$WEBSERVER_PORTS} $first_packets"
	nft_fw_nfqws_post "$f" "$f" $QNUM_WEBSERVER
}

[bol-van]

Инсталятор и скрипты запуска адаптированы.
Осталась дока.

[bol-van]

MDIG cache был давно сломан в blockcheck1, проблема перешла и в blockcheck2
fixed now

[bol-van]

Реализована поддержка имен профилей (names) и шаблонов профилей (templates).
template - это тоже профиль, принимающий в себя все настройки профиля, но он не идет в список рабочих профилей. Профиль является шаблонными, если в пределах его определения (между --new) присутствует параметр --template.
templates выносятся в отдельный список, чтобы потом из него можно было импортировать настройки. Шаблонному профилю обязательно назначается уникальное имя (--name), после чего его можно импортировать в рабочий профиль (--import=name). Процедура импорта стирает все данные текущего профиля, замещая данными шаблона (включая имя), поэтому --import надо указывать в самом начале после --new. Остальные настройки добавляются к импортированным.

Импорт нескольких шаблонов с наложением не реализован. Однако, шаблоны - тоже полноправные профили и могут импортировать другие шаблоны. Здесь будет 2 шаблона и 1 рабочий профиль, который выполнит 3 инстанса

--template --name t1 --lua-desync=pass --new
--template --import t1 --name t2 --lua-desync=posdebug --new
--import t2 --name template_test --lua-desync=argdebug:test1=1:test2=2

profile 1 (template_test) lua pass( range_in=x0-x0 range_out=a0-a0 payload_type= all)
profile 1 (template_test) lua posdebug( range_in=x0-x0 range_out=a0-a0 payload_type= all)
profile 1 (template_test) lua argdebug(test2="2",test1="1" range_in=x0-x0 range_out=a0-a0 payload_type= all)
template 1 (t1) lua pass( range_in=x0-x0 range_out=a0-a0 payload_type= all)
template 2 (t2) lua pass( range_in=x0-x0 range_out=a0-a0 payload_type= all)
template 2 (t2) lua posdebug( range_in=x0-x0 range_out=a0-a0 payload_type= all)

Убрана детализация пейлоада stun_binding_req.
Любые stun сообщения теперь имеют пейлоад "stun".

[bol-van]

Первое практическое применение концепции оркестраторов.
Пришлось кое-что еще добавить. Поскольку ctx передавать оркестрируемым функциям нельзя, т.к. они будут действовать от имени оркестратора, им передается nil.
Но тогда они не могут делать instance cutoff, на котором основана часть их логики.
Пришлось заменить везде вызовы instance_cutoff на instance_cutoff_shim.
shim вызывает instance_cutoff(ctx), если ctx есть, а иначе откатывается на альтернативный вариант собственной lua реализации через desync.track.lua_state

Файл zapret-auto.lua. Орекстратор circular.
Он делает примерно то же самое, что автолист чекер в C коде.
Но в случае обнаружения "неоткрывшегося" сайта происходит переход от стратегии 1 к 2. Если и там не открылся - к стратегии 3. Если номера стратегий закончились, идет переход снова к 1. От этого и название - circular. Но можно поставить в последней стратегии "final", и тогда перехода к 1 не будет.
Это если очень по-пользовательски, по-понятному обьяснять.
Технически же еще можно много слов тут настрочить.

Простейший тест-пример, иллюстрирующий работу.

nfqws2 --qnum 200 --debug
--lua-init=@zapret-lib.lua --lua-init=@zapret-auto.lua
--in-range=-s1
--lua-desync=circular
--lua-desync=argdebug:strategy=1
--lua-desync=argdebug:strategy=2

circular берет на себя выполнение execution plan.
он имеет дело с двумя хранилищами stateful данных.
1 - глобальное с индексом по имени хоста или ip в случае отсутствия хоста.
2 - привязанное к соединению в desync.track.lua_state

круговой обход стратегий осуществляется индивидуально по хостам. по каждому хосту хранится состояние какая для него текущая стратегия.
стратегии разделяются через задание номера в параметре strategy всех последующих за оркестратором desync инстансов. так он знает какая функция относится к какому номеру.

есть понятие неудачи (failure). неудача - это когда условно говоря сайт не открылся, подает признаки блокировки.

1. Ретрансмиссии в указанных пределах sequence numbers (64K от начала соединения по умолчанию). Это уже выходит за рамки возможностей чекера автолиста и позволяет сечь 16к блоки.
2. RST в пределах указанных ack sequence (1 по умолчанию, то есть RST без входящих данных)
3. Традиционно - http редирект на домен второго уровня, не совпадающий с доменом второго уровня исходного хоста

Для 2 и 3 ему нужны входящие данные, поэтому ставиться --in-range, пропускающий до первого пакета данных (включительно). Естественно, трафик нужен перенаправить средствами firewall / windivert фильтра.
Конструктор windivert фильтров и так пропускает входящие RST,FIN,SYN и пакеты данных tcp с http ответом redirect. Специально ничего делать не надо. --wf-tcp-in был бы большой глупостью, грузящий проц без толку.

Ведется счетчик неудач. Если происходят fails неудач (3 по умолчанию) и между ними не более time секунд (60 по умолчанию), то происходит ротация стратегии. Если с предыдущей неудачи прошло больше времени - счетчик неудач сбрасывается

Параметры орекстратора

-- arg: fails=N - failture count threshold. default is 3
-- arg: retrans=N - retrans count threshold. default is 3
-- arg: seq=<rseq> - if packet is beyond this relative sequence number treat this connection as successful. default is 64K
-- arg: rst=<rseq> - maximum relative sequence number to treat incoming RST as DPI reset. default is 1
-- arg: time=<sec> - if last failure happened earlier than `maxtime` seconds ago - reset failure counter. default is 60.

Практический пример автолиста в памяти , без записи в файл.

nfqws2 --qnum 200 --debug
--lua-init=@zapret-lib.lua --lua-init=@zapret-antidpi.lua --lua-init=@zapret-auto.lua
--in-range=-s1
--payload tls_client_hello,http_req,http_reply
--lua-desync=circular
--in-range=x
--lua-desync=pass:strategy=1
--payload tls_client_hello --lua-desync=fake:blob=fake_default_tls:badsum:strategy=2
--payload http_req --lua-desync=fake:blob=fake_default_http:badsum:strategy=2

Сначала применяется стратегия, не делающая ничего.
Если сайт не открывается, применяется стратегия с фейком

--in-range нужен только для окестратора. дальше он гасится через --in-range=x.
payload http_reply так же нужен только для орекстратора, чтобы он видел http redirect

[bol-van]

Переработана, упрощена и унифицирована схема детекта ретрансмиссий.
Точки детекта 2 : C код автолистов и lua код орекестраторов.

Если ранее в C коде автолистов считались ретрансмиссии только в диапазоне TLS запроса (вместе с кибер пакетами всеми), то теперь они считаются в диапазоне relative seq от 0 до нового параметра nfqws2 --hostlist-auto-retrans-threshold , конфиг AUTOHOSTLIST_RETRANS_MAXSEQ. По умолчанию 65536.
То есть в диапазоне первых 64 кбайт переданных данных. После чего соединение считается успешным и ретрансмиссии не детектятся.
Это позволяет работать по блокам 16к и регулируется.

В оркестраторе circular аналогичная схема с похожими параметрами.

Для упрощения детекта ретрансмиссий добавлено отслеживание в conntrack значений "uppos" по направлениям orig,reply. uppos - это максимальный сиквенс, на который когда-либо залезали передаваемые по направлению данные. Под "залезали" считается seq за последним байтом последнего переданного пакета. Так же сохраняется предыдущее значение uppos.
Поэтому всегда легко сравнить pos с uppos_prev. Если он меньше uppos_prev, значит это ретрансмиссия.

Вычисление разницы sequence требует особой логики. Sequence - это 32 битные unsigned номера.
Просто сравнивать их нельзя как числа. Они увеличиваются без учета переноса за разрядную сетку 32 бит.
Например, значение 0xFFFFFFF0 (более 4 миллиардов) не больше, а меньше 5.

В zapret-lib.lua сделана функция для определения является ли текущий диссект ретрансмиссией.

function is_retransmission(desync)
	return desync.track and desync.track.tcp and 0==bitand(u32add(desync.track.tcp.uppos_orig_prev, -desync.track.tcp.pos_orig), 0x80000000)
end

Кто понимает в машинной арифметике - поймет

[bol-van]

Сделана поддержка udp в standard_failure_detector и как следствие в оркестраторе circular.
Она работает очень просто.
Если на выход ушло >=udp_out пакетов, а на входе пришло <=udp_in пакетов, значит неудача.
Мы шлем, нам не отвечают.
По умолчанию 3 ушло, <=1 пришло

На quic вполне себе работает с параметрами по умолчанию.

[bol-van]

КОПИЯ СТАРОГО ПОСТА С NTC.PARTY

Заметил такую ерунду.
Клиент отсылает 2 кибер куик пакета длиной 1200.
На роутере MT7621 на br-lan получается пакет 2400.
На wan он уходит как 2x1200. Все хорошо.
Включаем nfqueue, и все это ломается. Один пакет теряется. nfqws не срабатывает как надо.

Вылечилось вот так

for int in lan1 lan2 lan3 lan4; do
 ethtool -K $int rx-gro-list off
done

если включить rx-gro-list на PC с 2 сетевухами realtek, проблемы не наблюдается
какой-то косяк драйверов медиатек ?
происходит как на eth, так и на wlan

Так можно сделать универсально без привязки к портам и именам интерфейсов точек доступа

append_separator_list()
{
    # $1 - var name to receive result
    # $2 - separator
    # $3 - quoter
    # $4,$5,... - elements
    local _var="$1" sep="$2" quo="$3" i

    eval i="\$$_var"
    shift; shift; shift
    while [ -n "$1" ]; do
        if [ -n "$i" ] ; then
            i="$i$sep$quo$1$quo"
        else
            i="$quo$1$quo"
        fi
        shift
    done
    eval $_var="\$i"
}
resolve_lower_devices()
{
    # $1 - bridge interface name
    [ -d "/sys/class/net/$1" ] && {
        find "/sys/class/net/$1" -follow -maxdepth 1 -name "lower_*" |
        {
            local l lower lowers
            while read lower; do
                lower="$(basename "$lower")"
                l="${lower#lower_*}"
                [  "$l" != "$lower" ] && append_separator_list lowers ' ' '' "$l"
            done
            printf "$lowers"
        }
    }
}

# it breaks nfqueue
lans=$(resolve_lower_devices br-lan)
for int in $lans; do
 ethtool -K $int rx-gro-list off
done

[bol-van]

Прощаемся с zapret-info и rublacklist.
Роскомсвобода все.

Убираются скрипты ipset get_reestr_resolve.sh и get_reestr_hostlist.sh как работающие напрямую с z-i.
bol-van/rulist переориентируется на другой источник доменов. заполнение ipban уходит, поскольку формировалось на основе csv от z-i

[bol-van]

Мануал дописан в первом приближении.
Получилось техническое руководство, но таким оно и предполагалось. Руководство программиста или сисадмина, справочник.
readme оставлю таким как есть - краткий гайд для миграции с z1, чтобы не талмудить на главной
никаких чайник инструкций не будет

[bol-van]

Сделал анализ DNS ответов и занесение их в --ipcache-hostname.

Имена хостов для кэширования берутся из анализа L7 протоколов и из DNS ответов (не DoH). Извлечение DNS работает только по udp протоколу и требует перенаправления пакетов с порта 53. Нужны только ответы DNS, имеющие source port 53. На Windows это будет --wf-udp-in=53. Скорее всего будет обращение к DNS внутри локальной сети, поэтому нужен параметр --wf-filter-lan=0. На роутере, если используется шифрованный DNS, надо ловить запросы от клиента еще до шифрования - на LAN интерфейсе. Если шифрование не используется, можно ловить и на WAN. Для LAN интерфейса они будут исходящими, для интерфейса WAN - входящими, по направлению conntrack - reply.

С броузером с включенным Doh или с включенным doh на уровне ОС работать не будет

[bol-van]

Обертка в linux вокруг функции экстракции dns ответов не совсем тривиальна.

Просто добавить порт 53 не всегда сработает в в openwrt.
Перехват портов NFQWS2_PORTS_UDP идет на wan интерфейсе.
В дефолтной конфигурации клиент получает DNS openwrt, на котором запущен dnsmasq, форвардящий запросы в wan. Тут все нормально.
Но что если на openwrt установлен dnscrypt или doh ? Не будет работать, ведь запросы в открытом виде не идут в wan.
Поэтому их надо перехватывать в lan. Но такой функции готовой нет и обертки в скриптах тоже.

Чтобы ради этого случая не разрабатывать специальную схему, проще все сделать в кастоме с созданием отдельных цепочек.
custom скрипт 80-dns-intercept перехватывает исходящие udp src port 53 на lan интерфейсах, а так же входящие на саму систему и исходящие с нее (input + output). Первый вариант - для роутера, когда клиент запрашивает сторонний dns, а не dns роутера. Второй вариант - для самого роутера или для клиентской системы на linux. Третий вариант - для dns сервера - когда клиент запрашивает dns роутера, например.

Итак,

1. Если система - роутер, но не openwrt, обязательно прописываем IFACE_LAN в config
2. Копируем кастом 80-dns-intercept в custom.d
3. Добавляем параметр --ipcache-hostname в NFQWS2_OPT

А что в винде делать ?

Там --wf-udp-in=53 --wf-filter-lan=0 сработает. Но только если обращение не идет к localhost, на котором крутится dns proxy. В этом случае еще добавляем --wf-filter-loopback=0

[bol-van]

Обнаружилось такое явление, вероятно вызванное некоторыми системами anti ddos защиты.

Сервер выдает window size=0 в SYN,ACK и фактором 128
В следующем пакете window size =3.
Альтернативный вариант в SYN,ACK window size=2 с фактором или другой мелкий.

Что это дает ? Клиент не может слать сразу тонны мусора. он ограничен мелким окном от нескольких байт до нескольких сотен байт. Это дает время защите понять не пытаются ли слать какую-то гадость, например.

Как это влияет на zapret ?
Если перехватываются входящие в достаточном обьеме, срабатывает защита от дохлого реасма
reasm cancelled because server window size %u is smaller than expected reasm size %u
Применение стратегии может быть нарушено, но хотя бы не будет виса.

Если входящие не перехватываются в достаточном обьеме, защита не знает window size сервера и не включается, соединение с гарантией виснет, потому что delay дропает пакеты, клиент шлет ретрансы, и это никогда не кончается.

Почему могут не перхватываться входящие ?
В винде wf конструктор автоматически перехватывает входящие только с флагами SYN,FIN,RST.
Это нужно для работы conntrack, autottl и защиты от низкого server window size.
Значение 0 считается как неизвестный window size. Поэтому если antiddos шлет 0 в SYN,ACK, а больше ничего не перехватывается, то защита не включается, и мы виснем.
Можно сделать --wf-tcp-in=443, но это жесткий выстрел атомной бомбой по комарам - цена по процу огромна. За все время был найден только один такой сайт и еще один с низким wsize в SYN,ACK.
Можно сделать --wf-raw-part с фильтром конкретно на этот IP, чтобы перехватить весь порт только с нужных IP.

В linux задача решается через достаточные connbytes.
В BSD - так же, как и в винде. Отдельное ipfw правило с фильтром на сорс ип

На nfqws1 вариант - только отсекать подобные сайты на уровне firewall/windivert, поскольку никаких изменений кода не будет. Защиты от мелких server wsize там нет

Еще 1 вариант, приводящий к похожей проблеме, был обнаружен на древней версии macos. tcp slow start с одним пакетом. В современных macos по умолчанию 8. Это правится через sysctl на клиенте.

[bol-van]

UPD. Решил принимать window size=0 как известное, если был получен хотя бы 1 входящий пакет - pcounter!=0. Это решение может привести к ложным отменам reasm и сбою стратегий на windows и на других системах при неперехвате или недостаточном перехвате входящих . Но imho это лучше, чем заставлять делать --wf-tcp-in из-за такой редкой мелочи.
У меня нет статистики насколько часто такое поведение серверов имеет место быть, но мне кажется очень редко. chatgpt со мной в этом согласен и подтвердил, что подобная техника груба и может ломать простенькие tcp/ip стеки эмбеддед систем. Крупные игроки типа cloudflare ее неиспользуют.
Вероятность, что такой сайт еще и заблокирован и ему нужна стратегия, и вовсе стремится к статистической погрешности, поэтому ее отмена представляется меньшим злом, чем зависание редкого, но нужного незаблокированного сайта.

[bol-van]

Рабочий тестовый пример icmp обфускатора udp от винды к серверу на vps.
Для теста используем wireguard. Ничего в конфигах менять не надо - wireguard будет думать, что он работает по udp, но на самом деле он преобразуется в пинги icmp, которые могут проходить NAT. Размер пакетов не изменяется, потому проблемы MTU нет.

Будем загонять исходящие с клиента в в icmp type 8 (echo request) code 199 , исходящие с сервера в icmp type 0 (echo reply) code 199.
Код у обоих концов делаем одинаковый, иначе NAT не соотнесет. Без NAT можно коды делать разными для клиента и сервера.
Особый icmp code нужен для фильтрации от обычных пингов.

wireguard server - 1.2.3.4:5555

table ip ztest {
        chain post {
                type filter hook output priority mangle; policy accept;
                meta mark & 0x40000000 == 0x00000000 udp sport 5555 queue flags bypass to 200
        }

        chain pre {
                type filter hook input priority mangle; policy accept;
                meta mark & 0x40000000 == 0x00000000 icmp type echo-request icmp code 199 queue flags bypass to 200
        }
}

nfqws2 --qnum 200 --server
 --lua-init=@/opt/zapret2/lua/zapret-lib.lua
 --lua-init=@/opt/zapret2/lua/zapret-obfs.lua
 --in-range=a
 --lua-desync=udp2icmp:ccode=199:scode=199

Клиент на винде :

winws2
 --wf-icmp-in=0:199 --wf-udp-out=5555
 --wf-raw-filter="ip.SrcAddr=1.2.3.4 or ip.DstAddr=1.2.3.4"
 --lua-init=@lua/zapret-lib.lua
 --lua-init=@lua/zapret-obfs.lua
 --in-range=a
 --lua-desync=udp2icmp:ccode=199:scode=199

Все лишнее отсекается в ядре в windivert - проц зазря не грузит.
--wf-raw-filter сочетается со всем остальным собранным конструктором по AND. Отсекает по IP адресу сервера.
--wf-icmp-in отсекает входящие icmp типа 0 с кодом 199.

И включаем wireguard.
В шарке сплошняком пинги и реплаи с кодом 199

Если IP клиента постоянен, можно дополнительно на стороне сервера сделать фильтр по IP клиента.

Дополнительно можно сделать dataxor=blob на обоих концах, чтобы поксорить пейлоад.
blob растягивается на размер пакета как pattern. Можно использовать от 1 hex byte до специально нагенеренного рандома. На обоих концах должен быть одинаковый

[bol-van]

C хелперы для работы с unixtime : localtime,gmtime,timelocal,timegm

Распознавание нешифрованного bittorrent протокола.
tcp - l7proto = "bt", l7payload = "bt_handshake"
udp - l7proto = "utp_bt", l7payload = "utp_bt_handshake"
именно uTp, а не uDp

Как ловить в винде ? --wf-tcp-out,--wf-udp-out ? Да, но нужно еще --server
отдельный инстанс
1024 - ваш порт torrent клиента. зафиксировать
учесть, что direction может стать любым. конекты могут быть как входящие , так и исходящие.
поэтому в antidpi функциях смотрим "standard direction"

В linux - кастом скрипты или свои tables. Прописывание портов в конфиг не поможет.

Для экшина над шифрованным bt не забывать про фильтр antidpi функций "standard payload"

[bol-van]

Новый оркестратор per_instance_condition.
Бывает, что в одном профиле нужно вызывать разные инстансы с разными параметрами в
зависимости от текущей обстановки, которая не может быть выражена условиями --payload или range.

Оркестратор все последующие инстансы вызывает только, если у них есть аргумент "cond". "cond" - имя iff функции. "cond_neg" - признак инверсии. Инстанс выполняется только если cond вернул true.
Имена аргументов выбраны не iff/neg, чтобы не было конфликтов с уже существующими вложенными оркестраторами.

Например, сервер не поддерживает timestamps. tcp_ts обламывается, соединение ожидаемо виснет, потому что фейк принимается сервером. Что делать ?
Можно было бы поломать код fake. Наплодить там тучу условий, аргументов. И реплицировать их на fakedsplit, hostfakesplit и тд. Но это путь уродования кода и превращения его в монстро-комбайн. Мы так не делаем

вот решение :

--lua-desync=per_instance_condition
--lua-desync=fake:blob=fake_default_tls:tcp_ts=-1000:cond=cond_tcp_has_ts
--lua-desync=fake:blob=fake_default_tls:ip_ttl=7:ip6_ttl=4:cond=cond_tcp_has_ts:cond_neg

[bol-van]

И на закуску.

Аргумент "instances" в condition и per_instance_condition.
Выполнять условно только последующее кол-во инстансов, остальные безусловно.

cond_lua - iff функция, выполняющая произвольный код. Код должен вернуть значение условия.
Для всякой мелочи, чтобы не писать целые функции

Следующие 2 инстанса только для пакетов tcp с длиной данных не менее 1200 байт
--lua-desync=condition:instances=2:iff=cond_lua:code='return desync.dis.tcp and #desync.dis.payload>=1200'

В принципе, condition может заменить per_instance_condition, если его писать перед каждым инстансом и дать аргумент instances=1.
На самом деле это будут вложенные оркестраторы condition. Но запись с per_instance_condition будет компактнее

[bol-van]

Только сейчас выяснилось, что в multiport в iptables нельзя больше 15 портов.
Причем диапазон считается за 2 порта.
Годы прошли, никому не надо было туда писать монстросписок. Но понадобилось.
В z2 multiport в стандартных портах из конфига переведен на ipset bitmap:port
z1 EOL, его не буду трогать. Кому надо - напишет кастом с дополнительным правилом

[bol-van]

Набор скриптов "builder-linux" в "docs/compile" для простой сборки статиков под любую архитектуру на x86_64 хосте с традиционным linux.

Все элементарно

1. Установить нужные тулзы на хост. gcc, gcc-multilib, make, curl, unzip. может что-то еще
2. "get_toolchains.sh" . выбрать какая нужна архитектура. можно выбрать ALL или запустить скрипт несколько раз, скачав только нужные тулчейны
3. "build_deps.sh" . выбрать "ALL". соберет зависимости под все скачанные тулчейны
4. "build_zapret2.sh". выбрать "ALL". соберет nfqws2,mdig,ip2net под все скачанные тулчейны. результат в binaries. Имена фолдеров совместимы с релизами на github и c install_bin.sh
5. Чтобы избежать диалога, можно установить переменную TGT. Она должна включать список тулчейнов через пробел. Элементы списка - это то, что предлагается в диалоге или имена фолдеров в "toolchain". Например, "mips-unknown-linux-muslsf".
6. upx можно самому накатить по желанию. автоматом не делается

Если у кого-то есть желание, легко адаптируется для z1. Выкидывается lua, меняются URL скачивания и имя фолдера zapret2. остальное там тоже самое
z1 eol, потому для z1 готовое делать не буду

[bol-van]

НЕСОВМЕСТИМОЕ ИЗМЕНЕНИЕ

В cond_lua параметр "code" переименован в "cond_code".
Это сделано для исправления конфликта с luaexec, когда cond_lua применяется в per_instance_condition.
При вызовах cond функции теперь отдается desync, преднастроенный для текущего инстанса.
Раньше отдавался desync от предыдущего инстанса.

[bol-van]

Подниму тему про ASLR.

ASLR - это рандомизация адресного пространства процесса, призванная усложнить жизнь желающим срывать уязвимости кода и перенаправлять выполнение на непредусмотренные адреса памяти, чтобы выполнить собственный код и захватить процесс.
Наличие известного содержимого по известным адресам, откуда возможно исполнение кода, это подарок для хацкера, который нашел уязвимость и пытается ее эксплуатировать.

Как дела с этим в zapret2

1. Винда. До сих пор ASLR не применялся вообще никак к самому winws2 и windivert. Был изменен makefile, чтобы компилировалось с dynamic base, high entropy. Но это полностью не решило проблему из-за windivert. Он собран тоже без dynamic base и с нехарактерным для DLL адресом загрузки в пределах 4 gb. Это значит, что конфликта с другими DLL не будет почти 100% и релокации тоже не будет, а будет он висеть жестко прибитый к стенке в одном месте. В github actions добавлена коррекция windivert.dll , чтобы сделать ему rebase и добавить флаги dynamic base и high entropy. Если base address в пределах 4G, то ASLR его и гоняет в пределах 4G, а так все красиво стало - они все висят в терабайтах линейных адресов. МОГУТ ВЗВЫТЬ АНТИВИРУСЫ, встретив что-то новенькое из серии windivert. Но подписи на DLL нет и не было, поэтому по идее не должны.

2. Linux. В статике для ASLR нужен PIE - position independent executable. Это касается всех либ, и libc в том числе. Теоретически можно пересобрать тулчейн, чтобы был PIE на musl. Но upx идею помножит на ноль. Если хотите +security - собирайте под динамику. И luajit в том числе. Если хоть что-то будет без PIE, оно не будет подвержено ASLR. Если влинковать статическую либу без PIE в бинарник , он тоже будет без PIE. В классическом linux достаточно установить dev пакеты и собрать через make - ASLR будет.

3. ANDROID версии под NDK. Там вообще все жестко, без pie оно даже не запустится, так что он там есть с гарантией

4. В BSD готовые бинарники без PIE и без ASLR, но если сделать make - PIE будет. Опции в makefile добавлены

[bol-van]

nfqws и nfqws2 изначально строились на одной единственной событийной модели
процесс ждет пакет с перехвата и запускает обработку полученных данных. цикл повторяется.
единственное событие, способное привести процесс к активным действиям, это получение перехваченного пакета из сети. Сюда еще можно добавить некоторые unix сигналы, которые инициируют определенные действия.

Если посмотреть на tcp/ip стек ОС, то для реализации, скажем, tcp этой модели недостаточно.
Необходимо обрабатывать таймауты. Что-то послали, но не получили ожидаемого ответа в отведенный интервал времени. Следовательно, в событийной модели нужен таймер.

Именно это и было добавлено в nfqws2, чтобы он перестал быть только лишь пассивным слушателем и отвечателем. Все достаточно просто

timer_set(name, func, period, oneshot, data) - запустить таймер
timer_del(name) - удалить таймер

func(name,data) - таймер функция. получает name и data, заданные в timer_set

period задается в миллисекундах.
разрешение таймеров задается в параметре --timer-res. По умолчанию 50 мсек, но можно уменьшить до 10.
Если oneshot=true, вызов происходит 1 раз и таймер удаляется автоматически. Иначе дергается каждые period мсек.
data - произвольный обьект, который передается таймеру. может быть таблицей, в которой значения могут меняться самим таймером
name - уникальный идентификатор - имя таймера. при дублировании вызывается error

В режиме --intercept=0 после выполнения фазы lua-init обработка входит в цикл ожидания таймеров, пока они есть. Когда их не становится - процесс выходит

Никаких прямых sleep не предусмотрено - это сломает асинхронную обработку и повесит очередь. Только через события в стиле конечного автомата.

timer_set и timer_del можно вызывать из самих таймеров в том числе и в отношении самих себя

[bol-van]

Добавлен параметр "delay" в antidpi функцию "send".
Все очень просто - отправить с указанной задержкой в миллисекундах.
Создается oneshot timer, в качестве data подсовывается текущий dissect и send options.
Когда таймер срабатывает, пакет выплевывается в сеть.

Чтобы не задерживать все, есть внутрипрофильные фильтры по range и payload.
Если этого мало - можно использовать оркестраторы с iff функциями - прежде всего condition.
Простые условия можно писать через iff функцию cond_lua, чтобы не городить свой код в файлах.

Пока не очень понятно зачем нужно что-то задерживать - на незначительные задержки ТСПУ плевать. Там таймауты в минутах исчисляются. Но как иллюстрация использования таймеров годится. Может какой-то DPI не в России работает по коротким таймаутам для экономии ресурсов.

Чтобы не городить велосипед с именами таймеров, созданы хелперы в zapret-lib

function dis_timer_name(dis)

Конструирует имя таймера, включающее в себя ip адреса src,dst, имя протокола l4, номера портов или icmp коды.
Имя таймера может не быть уникальным.

function desync_timer_name(desync)

Конструирует имя таймера, включающее в себя результат dis_timer_name + номер пакета в conntrack по прямому направлению.
Если track отсутствует, добавляются случайные символы.
Имя таймера можно считать уникальным на desync, его можно использовать как oneshot timer name.

[bol-van]

Небольшое изменение в timer_set, timer_info.
Теперь в timer_set таймер функцию можно давать как имя или как собственно функцию (ссылку на код). В последнем случае можно использовать и анонимные функции. В случае string он ресолвится в функцию и запоминается как функция. Ранее запоминался string и ресолвился при каждом вызове.

Кусок кода для примера из lua-tests :

	-- anonymous function
	timer_set("t0",function(name,data)
		print("timer "..name.." fired. anonymous timer function")
		print_current_time()
		end,
		100,true)

	-- pass function as function
	timer_set("t1",timer1,500,true,"sample_data");
	local tbl = {n=0}
	-- pass function through string name
	timer_set("t2","timer2",700,false,tbl);

timer_info возвращает поле "func" как function, не как string. string больше не запоминается, поэтому преобразовать ссылку на код в имя функции невозможно

[bol-van]

Значимые изменения в 1.0.5

При диссекции tcp options обрезаются все нули с конца.
0x00 - он же EOL (end of list).
0x00 по RFC должны добиваться tcp options до кратности длины 4
Если вдруг EOL находится в середине, он передается как есть.
При реконструкции tcp options добиваются нолями автоматически.
Если вы вдруг сделаете диссект с kind=0 на конце в tcp.options, то при обратной реконструкции они исчезнут из списка - будут обрезаны. Тем самым вы получите несоответствие исходного списка с полученным при прогоне через reconstruct+dissect. Однако в бинарном представлении (реконструированные) они совпадут.

Возможность инвертирования действия --filter-ssid, --ssid-filter, --nlm-filter. ВСЕ, КРОМЕ

--filter-mark - новый профильный фильтр только для linux. можно в один инстанс загонять соединения, классифицированные любыми, сколько угодно сложными правилами ip/nf tables. Для поддержки классификации входящих требуется сохранять информацию о маркировке в ct mark (connmark), потом восстанавливать в meta mark (mark).

blockcheck2 под виндой больше не использует ipset. Вместо него используется kernel аналог --wf-raw-filter. Это позволяет не дергать другие инстансы при параллельном запуске множества блокчеков.

Ранее blockcheck2 падал при использовании custom/10-list.sh, если в файл записаны стратегии, вызывающие падение eval (ошибка шелл, неэкранированные символы). При этом оставались ip/nf tables, iptables не удалялись даже после перезапуска blockcheck2. Сделана тестовая проверка в subshell, отказ от реального запуска при ошибке. Скрипт больше не падает.

[bol-van]

Несколько изменений в blockcheck2

Вариант custom/10-list.sh читает стратегии из файла.
Изначально они пропускались через eval, чтобы можно было эскейпить пробелы , скобки и прочее. Писать туда свои стратегии. Но народ любит копипасту и пастит из блокчека как есть.
Поэтому всякие <, ( , ) вызывали падение блокчека. Потом я ввел dry-run и отказ от тестирования, если eval не срабатывает.
Последняя эволюция схемы - в случае фейла eval вызывать строку параметров как есть - с разделением на пробелы. При этом перестают работать кавычки, но многие копипастные-стратегии начинают корректно приниматься. Если скрипт ушел на fallback вариант, он об этом кричит в warning.

В summary при тестировании нескольких доменов печатается не только пересечение (COMMON), но и покрытие (COVERAGE). Последнее показывает на скольки из скольких доменов стратегия прошла.

CURL_PAD=bytes. Добавить мусорных хедеров на указанное кол-во байт для утяжеления запроса, чтобы триггернуть 16 кб блок, когда сайт возвращает короткий ответ.
Практический результат : на моем провайдере нужно порядка 38K, чтобы это заработало. Но при этом многие сайты, включая cloudflare, начинают выдавать code 400. На клауде макс длина запроса - 32 кб. Это нормально для https, но в случае plain http будет результат "UNAVAILABLE. server likely receives fakes". Здесь нельзя отличить ситуацию, когда сервер получил фейковый мусор и разозлился на него от разозления на длину запроса. Да, частенько текстом пишут почему, но сами понимаете - скрипт глупый, это не ИИ, понимать смысл он не умеет