backmeupplz/archivelinksbot
Watch
1
0
Code Issues Pull requests Projects Releases Wiki Activity Actions

Корректность парсинга url #20

New issue
Closed
opened 2022-08-08 16:23:29 +00:00 by Sunlight-Rim · 4 comments
Sunlight-Rim commented 2022-08-08 16:23:29 +00:00 (Migrated from github.com)
Copy link

Просто пара замечаний.

  1. Парсер идентифицирует ссылки вида
    http://eepsites.i2p,
    http://b5ojwufuhmqw4vpaofcp5ejwufv6n77tlk7mjcpttnvou7gkdtsiljad.onion
    как валидные сайты клирнета, но web-archive не может их сохранять. whatwg-url такое не умеет отфильтровывать, поэтому можно просто добавить проверку, чтобы концовка урла не содержала ".onion" или ".i2p". Также, мне кажется, стоит исключить архивирование "127.0.0.1"

  2. Существуют домены из символов локальных алфавитов по типу кто.рф или 👊.ws — они распознаются ботом, но в исходном виде web-archive их не может обработать, как я понимаю (бот печатает, а потом просто перестаёт). Почему бы не переводить их в punycode чем-то типа этого, например.

Просто пара замечаний. 1. Парсер идентифицирует ссылки вида http://eepsites._i2p_, http://b5ojwufuhmqw4vpaofcp5ejwufv6n77tlk7mjcpttnvou7gkdtsiljad._onion_ как валидные сайты клирнета, но web-archive не может их сохранять. whatwg-url такое не умеет отфильтровывать, поэтому можно просто добавить проверку, чтобы концовка урла не содержала ".onion" или ".i2p". Также, мне кажется, стоит исключить архивирование "127.0.0.1" 2. Существуют домены из символов локальных алфавитов по типу [кто.рф](http://xn--j1ail.xn--p1ai/) или [👊.ws](http://xn--vp8h.ws/) — они распознаются ботом, но в исходном виде web-archive их не может обработать, как я понимаю (бот печатает, а потом просто перестаёт). Почему бы не переводить их в punycode чем-то типа [этого](https://www.npmjs.com/package/punycode), например.
backmeupplz commented 2022-08-08 16:50:30 +00:00 (Migrated from github.com)
Copy link

Буду рад пулл реквесту!

Буду рад пулл реквесту!
Sunlight-Rim commented 2022-08-08 19:12:18 +00:00 (Migrated from github.com)
Copy link

А я не знаю тайпскрипта :D

А я не знаю тайпскрипта :D
backmeupplz commented 2022-08-08 19:13:44 +00:00 (Migrated from github.com)
Copy link

@Sunlight-Rim никогда не поздно приобщиться!

@Sunlight-Rim никогда не поздно приобщиться!
❤️ 1
backmeupplz commented 2026-10-22 17:31:07 +00:00 (Migrated from github.com)
Copy link

Thank you for taking the time to report this, and sorry it sat without an answer for so long. I'm cleaning up old issues and closing this one because it has been inactive for a long time. If it still affects you, please open a new issue with the current details and I'll take a look.

Thank you for taking the time to report this, and sorry it sat without an answer for so long. I'm cleaning up old issues and closing this one because it has been inactive for a long time. If it still affects you, please open a new issue with the current details and I'll take a look.
Sign in to join this conversation.
No Branch/Tag specified
Branches Tags
master
No results found.
Labels
Clear labels   
bug
Something isn't working

  
dependencies
Pull requests that update a dependency file

  
documentation
Improvements or additions to documentation

  
duplicate
This issue or pull request already exists

  
enhancement
New feature or request

  
good first issue
Good for newcomers

  
help wanted
Extra attention is needed

  
invalid
This doesn't seem right

  
question
Further information is requested

  
wontfix
This will not be worked on

No labels
bug
dependencies
documentation
duplicate
enhancement
good first issue
help wanted
invalid
question
wontfix
Milestone
Clear milestone
No items
No milestone
Projects
Clear projects
No items
No project
Assignees
Clear assignees
No assignees
1 participant
Notifications
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Dependencies

No dependencies set

Reference
backmeupplz/archivelinksbot#20
No description provided.