↑ ↓

 Tool_Script Get text truyện từ 4vn, ttv, tunghoanh, hixx.info...

Thảo luận trong 'Tin học - Công cụ' bắt đầu bởi phdota, 14/2/14.

  1. phdota

    phdota Bàn Long Chiến Đội

    Được thích:
    0
    Get text truyện từ 4vn, ttv, , hixx.info...

    Tool get text từ các trang:
    - .vn
    - truyencv.com
    - truyen.hixx.info
    - convert.hixx.info
    - lsb-thuquan.com
    - 4vn.eu
    - tangthuvien.com
    - truyenyy.com
    - webtruyen.com
    - .com
    - mong.vn
    - banlong.us

    Thay đổi:
    - Có giao diện (Do mình có dùng 1 native library cho bản này nên khi xuất exe phải wrap nó vào bên trong, dẫn đến dung lượng file tăng đột biến)
    - Dễ dàng hơn khi theo dõi quá trình tải, bắt đầu và kết thúc trực quan
    - Thêm các options cho phép hiển thị hay không mục lục, thay đổi đoạn bắt đầu và kết thúc chương.
    - Thêm các thông báo lỗi, khi chương trình tải 1 page có chứa thông báo lỗi thì nó sẽ bỏ qua và thử lại cho đến khi hết số lần được xác định trong retry. Nếu vẫn không được, chương đó sẽ đánh dấu là không có nội dung.
    - Hoàn toàn không lọc text rác, bỏ đi hầu hết html tag trừ <br> và <p>.

    Mẫu link:

    http://.vn/ten-truyen.htmlhttp://.vn/cau-ma-Ddaaaab.html
    http://truyencv.com/ten-truyen/http://truyencv.com/vong-du-vo-danh-chi-ton/
    http://truyen.hixx.info/truyen/loai-truyen/ma-so/ten-truyen.htmlhttp://truyen.hixx.info/truyen/truyen-kiem-hiep/105328/Tieu-Binh-truyen-ky.html
    http://convert.hixx.info/truyen/loai-truyen/ma-so/ten-truyen.htmlhttp://convert.hixx.info/truyen/huyen-huyen/1006744/Ao-thuat-than-toa-.html
    http://truyenyy.com/truyen/ten-truyen/http://truyenyy.com/truyen/kiem-nghich-thuong-khung/
    http://www.tangthuvien.vn/forum/showthread.php?t=ma-sohttp://www.tangthuvien.vn/forum/showthread.php?t=83167
    http://.com/showthread.php?t=ma-sohttp://.com/showthread.php?t=26485
    http://4vn.eu/forum/showthread.php?t=ma-sohttp://4vn.eu/forum/showthread.php?t=83920
    http://webtruyen.com/ten-truyen/http://webtruyen.com/tien-tuyet/
    http://www.lsb-thuquan.com/index.php?do=doctruyen&t=ma-sohttp://www.lsb-thuquan.com/index.php?do=doctruyen&t=134355184

    Link không đúng mẫu trên thì chương trình sẽ bỏ qua.

    Lưu ý:
    - Sử dụng dấu ; để ngăn cách giữa các thông báo lỗi. Ví dụ "bạn tải quá nhanh;bạn down quá nhanh".
    - Khi get bị lỗi, hãy thử bằng cách giảm số lượng các luồng kết nối tới trang đó (num connection), tăng delay (thời gian luồng sẽ sleep - milisecond), tăng min (get ngắn hơn min thì luồng sẽ hiểu là quá nhanh) và tăng số retry.
    - Mọi thay đổi tại OpionsDialog chỉ có hiệu lực trước khi bắt đầu tải.
    - Mẫu file text để import vào chương trình có một thay đổi nhỏ: thay vì cách bằng khỏang trắng thì sử dụng dấu thăng (#). Như ví dụ dưới

    Mã:
    [URL]http:///hong-sac-si-do-Iiaaaab.html[/URL]#1#50
    [URL]http:///vo-tan-than-cong-lpaaaab.html[/URL]
    [URL]http://truyen.hixx.info/truyen/truyen-kiem-hiep/270808/Toi-Ac-Chi-Thanh.html[/URL]#5#60
    [URL]http://www.lsb-thuquan.com/index.php?do=doctruyen&t=134355009&title=duong-chuyen---tac-gia:-kiet-du-2[/URL]
    [URL]http://4vn.eu/forum/showthread.php?72394-Di-Gioi-Sat-Than-Nghich-Thuong-Thien-Full[/URL]#4#60
    [URL]http://www.tangthuvien.vn/forum/showthread.php?t=105835[/URL]#1#10
    - Đang phát triển nên còn lỗi tùm lum =)).
    Mã:
    https://copy.com/qMJ4FNvYBU2U
    http://www.mediafire.com/download/pj90mmp4c1c2kro/Tool_get_text_0.7.exe.zip
    Hướng dẫn ngắn bằng video

    [video=youtube;p0rr6IBKWd4]https://www.youtube.com/watch?v=p0rr6IBKWd4[/video]

    17.06.2014:
    - Fix lỗi tại truyencv.com.
    - Update cho tangthuvien.vn
    - Thêm column size thông báo số lượng chapter cần tải.
    - Thay đổi thông báo tại cột status.
    - Thay đổi nhỏ về giao diện và phím tắt - thêm Ctrl + A để chọn toàn bộ các lượt tải có trên bảng, sửa lỗi delete các lượt tải hoàn thành bị sót...

    18.06.2014:
    - Lấy danh sách theo trang. Ví dụ với http://.vn/mang-hoang-ky-omaaaab.html sẽ có 17 trang.

    20.06.2014:
    - Thêm truyenyy.com, webtruyen.com .com

    21.06.2014:
    - Sửa một số lỗi nhỏ, cảm ơn cuonghv đã giúp đỡ.

    26.06.2014:
    - Sửa lỗi webtruyen.com
    - Bỏ đi các dòng Nội dung thu gọnHiện ra khi lấy từ lsb-thuquan
    - Thêm mong.vn
    - Thêm show Title trong Options. Uncheck thì sẽ không in ra dòng tiêu đề của chap.
    - Sửa lỗi không lưu End_Chapter

    08.07.2014:
    - Sửa lỗi truyenyy.com
    - Thêm
    banlong.us. Lưu ý là tốc độ tại banlong.us rất chậm. Cái này phải hỏi cuonghv.
     
    Chỉnh sửa cuối: 8/7/14
  2. phdota

    phdota Bàn Long Chiến Đội

    Được thích:
    0
    Các version cũ:

    [Đã ngưng]

    Xin chào, mình có sở thích đọc truyện trên kindle, nên có nhu cầu tương đối về ebook. Vì thế mình tự viết một tool nhỏ tạo ebook từ các trang ., hixx.info và gacsach.com (chủ yếu là ngôn tình).

    Tool cho phép tạo 2 định dạng hiên đang phổ biến là epub và mobi (v6), đồng thời cho phép xuất mobi với 3 mức độ nén là no compression (rất nhanh, file dung lượng lớn), standard compression (vừa phải, dung lượng cỡ trung), high compression (rất lâu, có thể đến 30 phút với 1000 trang nhưng dung lượng file bé).
    Ebook có đầy đủ cover (trừ nguồn hixx.info), giới thiệu, mục lục. Ngoài ra file mobi khi dùng trên kindle cho phép nhảy chap bằng chức năng Go to, rất tiện khi đọc sách có nhiều chapter

    Chấp nhận Url của truyện với dạng như sau:


    1. Với tunghoanh: http://./cau-ma-Ddaaaab.html
    2. Với hixx.info: http://truyen.hixx.info/truyen/truyen-kiem-hiep/270808/Toi-Ac-Chi-Thanh.html
    3. Với gacsach.com: http://gacsach.com/gioi-thieu-sach/20166/dao-tinh.html
    Tool được viết bằng java nên yêu cầu cài đặt Java để sử dụng. Tải tool tại đây
    [DLOAD]http://www.mediafire.com/download/hs5q7km1ivk8d4g/GUI.rar[/DLOAD]
    hoặc Link box:
    [DLOAD]https://app.box.com/s/9a2eez7ulw7vrldzen1l[/DLOAD]

    Link dự phòng (banlong.us)
    [DLOAD]https://www.dropbox.com/s/zrgcvzdb9p57kvz/Tool tạo ebook từ gacsach, tunghoanh và hixx.info.rar[/DLOAD]


    [Đã ngưng]

    Tool get text từ các trang đọc truyện online và tạo file html có mục lục.

    20.03.14: Cập nhật thêm một chút cho tool. Hiện tại chấp nhận get link từ các trang
    - .
    - tangthuvien.com
    - hixx.info
    - lsb-thuquan.com
    - 4vn.eu
    - truyencv.com (lưu ý là leech nguồn này khá chậm vì phải load 2 trang mới lấy được nội dung cần thiết)
    - và convert.hixx.info

    24.03.14: fix lỗi mục lục bị dính nhau.
    04.04.14: fix lỗi leech thiếu chapters.
    12.04.14: fix lỗi leech tại tunghoanh và truyencv "page is currently unavailable". Tốc độ get từ 2 trang này bị giảm xuống để tránh lỗi. Cảm ơn cuonghv đã test giùm :)
    14.04.14: thay đổi theo yêu cầu của cuonghv. Hiện tại có thể get đồng thời nhiều truyện một lúc. Tắt máy tự động sau khi get.

    Chú ý: link tại copy luôn là mới nhất. Mình không giữ bản cũ.

    Tải tại đây https://copy.com/SAkC1QLHjDav

    - Giải nén file GT.rar được 1 file GetText.jar, 1 file links.txt và 1 folder libs
    - Xóa hoàn toàn nội dung file links.txt, thêm truyện cần get theo mẫu:
    - Link cần get (khoảng trắng) trang bắt đầu (khoảng trắng) trang kết thúc
    - (14.04.14) Link cần get là trang đầu tiên/ trang giới thiệu truyện và phải bắt đầu bằng http://.
    - Nếu muốn get từ trang xxx trở đi, thêm 1 khoảng trắng và xxx vào sau link cần get.
    - Nếu muốn get đến trang yyy, thêm 1 khoảng trắng và yyy vào phía sau phần trước.
    - Nếu chỉ có link cần get và 1 số duy nhất, tool get từ trang xxx đến trang cuối cùng
    - (14.04.14) trong folder libs có 1 file là turn_off.txt. Muốn tắt máy thì sửa thành "y" hoặc "yes" (Chỉ mình 2 từ này thôi nhé. Thêm xuống dòng hay ký tự gì cũng không được). Muốn bỏ, sửa thành ký tự bất kỳ.

    (14.04.14) Ví dụ như sau là được
    - Mở cmd bằng cách vào Start > gõ cmd trong mục Search. Dùng lệnh cd di chuyển đến thư mục đặt tool, ví dụ là Desktop\Tool:
    - Gõ lệnh java -jar GetText.jar, khi nào tool báo kết thúc là xong.

    Ví dụ gõ lệnh như sau
    - Kết thúc nhận được các file html có tiêu đề tương ứng với tên truyện.
    - Xóa toàn bộ nội dung file links.txt và paste vào link mới để bắt đàu get truyện khác :).

    [Đã ngưng]
    Bản này mình có một số thay đổi, nên chưa thể test kỹ được. Mọi người dùng có lỗi thì quăng lên đây nhé.
    Thay đổi:
    - Thêm file options.txt trong folder libs. Mọi người có thể sửa file này để tránh lỗi (ko chắc lắm, xài thì biết - mạng mình chậm nên chả có lỗi bao giờ).
    - Có 3 dòng:
    + dòng 1: là số luồng cùng get truyện song song. Nếu thấy bị lỗi get nhanh thì giảm nó xuống = 1.
    + dòng 2: thời gian get 1 page. Nếu dưới mức độ này tool sẽ hiểu là quá nhanh và sẽ ngừng luồng lại trong 1 khoảng thời gian được quy định ở dòng 3. Giảm cái này khi bị lỗi get nhanh.
    + dòng 3: thời gian sleep của một luồng - trong trạng thái này luồng sẽ không request đến web nữa. Tăng cái này nếu bị lỗi get nhanh.
    + số ở dòng 2 và 3 là millisecond. 1000 ms = 1s. Trong file của mình là 100 ms = 0.1s. Mọi người nên giảm dòng 2 còn cỡ 50-70, và tăng dòng 3 lên cỡ 1000.​
    - Bỏ tắt máy (vì thấy mọi người leech nhanh quá nên thấy ko cần thiết).
    - Link paste vào links.txt không cần thêm http:// ở đầu.
    - Fix lỗi Lương Sơn Bạc bị đè lên.
    Tải tại đây https://copy.com/ke0pKvscTvx6
    https://www.mediafire.com/?28ao520iyecqblu
     
    Chỉnh sửa cuối: 20/6/14
  3. langbavibo

    langbavibo Thành viên kích hoạt

    Được thích:
    11
    Re: Tool tạo ebook từ gacsach, tunghoanh và hixx.info

    hay đấy! thanks bạn nhiều! Cố gắng tiếp tục hoàn thiện nhá!
     
  4. langbavibo

    langbavibo Thành viên kích hoạt

    Được thích:
    11
    Re: Tool tạo ebook từ gacsach, tunghoanh và hixx.info

    link bảo hỏng rồi bạn ơi, bạn cập nhật lại đi!?
     
  5. Trương gia đại thiếu

    Trương gia đại thiếu ››Thiếu nhiều thứ lắm™ Super Moderator

    Được thích:
    7,097
    Re: Tool tạo ebook từ gacsach, tunghoanh và hixx.info

    Không phải link hỏng, bạn copy url rồi paste vào trình duyệt nhé.
    Link box: [DLOAD]https://app.box.com/s/9a2eez7ulw7vrldzen1l[/DLOAD]
     

Thành viên đang xem bài viết (Users: 0, Guests: 0)