Series Python, AI & Data đi từ thu thập và làm sạch dữ liệu tới machine learning, deep learning, xử lý ngôn ngữ tiếng Việt, LLM, RAG, agent và đưa mô hình vào vận hành, với code Python chạy thật và số liệu đo trên ...
Crawler chạy xong không có nghĩa là dữ liệu dùng được, và pandas là công cụ đầu tiên để sửa. Cùng một sản phẩm có thể xuất hiện ba lần với ba URL khác nhau, giá lúc là 19.990.000₫, lúc là 19.990.000 đ...
Các bài trước giúp crawler chạy nhanh: asyncio cho phép hàng chục kết nối cùng lúc, Playwright đọc được cả trang dựng bằng JavaScript. Nhưng nhanh chưa phải là tốt. Một crawler chỉ biết tăng tốc sẽ sớ...
Bạn viết xong một crawler bằng requests và BeautifulSoup, chạy thử và nhận về trang HTML gần như rỗng: không có sản phẩm, không có giá, chỉ có vài thẻ script. Nội dung thật được trình duyệt dựng sau đ...
Bài trước trong series dùng Scrapy, một framework đã có sẵn bộ lập lịch và giới hạn đồng thời. Nhưng nhiều tác vụ nhỏ hơn, như gọi vài trăm API nội bộ hay kiểm tra trạng thái nghìn URL, không đáng để...
Vòng lặp requests cộng BeautifulSoup như ở bài trước về crawl bằng requests và BeautifulSoup đủ cho vài chục trang, nhưng khi cần hàng nghìn trang thì bạn sẽ phải tự viết hàng đợi, lọc trùng, retry, g...
Gần như dự án dữ liệu nào cũng có lúc cần số liệu mà nguồn không cung cấp API: bảng giá của đối thủ, danh mục sản phẩm công khai, bảng tỷ giá. Khi đó crawl data là cách lấy dữ liệu từ trang web về dạn...
Trong một dự án dữ liệu hay AI, thứ làm mất nhiều giờ nhất thường không phải thuật toán mà là câu hỏi "sao trên máy tôi chạy được?". Một notebook dùng numpy bản này, máy đồng nghiệp cài bản khác; serv...
