`

结合Nokogiri 来对网页转码

 
阅读更多
要把一些网页的内容存到数据库里面
数据库的编码格式是UTF8,而很多页面都是什么gb2312,如是读入必定会出现乱码的情况

Nokogiri可以直接取到页面的编码格式
假设response是获取的网页内容

charset = Nokogiri::HTML(response).meta_encoding


转码的方法可以如下

Nokogiri来转码(他会转成当前代码的编码格式,这个有待于确定)
Nokogiri::HTML(response,nil,charset)


Ruby自带的方法来转码转成utf8
Iconv.iconv(charset.upcase,"UTF-8",response)
分享到:
评论

相关推荐

    网页转码方法和工具

    然而,在某些特定场景下,如资源有限的嵌入式设备或者需要对网页内容进行特定处理时,可能需要将网页内容转成其他形式,例如数组或二进制数据。 "网页转码"这一过程主要包括两个主要环节:解析和转换。首先,解析...

    织梦转码器网页编码

    在日常工作中,熟练掌握网页编码的相关知识和转码工具的使用,对于网页开发者来说至关重要。不仅可以避免因为编码问题导致的乱码,还能提高工作效率,确保网站的兼容性和可读性。因此,对于使用Dreamweaver或其他...

    转码工具转码工具转码工具

    例如,ConvertCode.exe可能是一个命令行转码工具,用户可以通过在终端或命令提示符中运行它来转换文件的编码。使用这类工具,开发者或系统管理员可以批量处理大量文件,确保它们在不同环境下的兼容性。ConvertCode....

    网页编码模板UTF/GBK转码工具 支持文件夹转换

    "网页编码模板UTF/GBK转码工具 支持文件夹转换"是一个专门针对网页编码转换的实用软件,它允许用户批量处理UTF和GBK两种编码格式之间的转换,尤其对处理大量网页文件或文件夹时非常方便。 首先,我们需要理解UTF和...

    c#视频转码工具源码

    总的来说,这个“C#视频转码工具源码”项目为开发者提供了一个实用的起点,可以作为学习视频处理、C#与FFmpeg结合使用,以及UI设计的实践案例。无论是个人项目还是商业应用,这样的工具都有其价值。通过深入研究和...

    Unicode字符和汉字相互转换的网页转码实现源码.rar

    下面将详细介绍Unicode与汉字之间的转换以及网页转码的实现。 Unicode是基于一个数字的字符编码系统,每个字符都有一个唯一的数字标识,这个数字被称为码点。它解决了不同字符集间的兼容性问题,使得不同语言的文本...

    七牛云 实时转码demo

    总结来说,七牛云的实时转码服务结合了高效、实时和灵活性的特点,旨在满足在线视频服务的需求。通过将视频转码为m3u8格式,配合qnyplayer播放器,七牛云为开发者和企业提供了便捷、高质量的视频处理方案,帮助他们...

    视频转码器转码器

    9. **自定义设置**:专业用户可能需要对转码过程进行更精细的控制,如调整编码参数、添加水印、裁剪画面等。好的视频转码器应提供丰富的自定义选项。 10. **在线转码**:除了桌面应用,还有一些云服务提供在线视频...

    onvif协议视频转码推流网页播放

    "onvif协议视频转码推流网页播放"涉及到的技术栈主要包括ONVIF协议、RTSP(Real Time Streaming Protocol)、视频转码、RTMP(Real Time Messaging Protocol)推流以及网页播放器JW Player。下面将详细解释这些知识...

    x264/ x264转码性能数据

    通过对转码参数的分析,可以了解其对转码性能的影响,并对转码性能进行优化。 5. 添加-re参数对转码性能的影响 添加-re参数可以增加CPU抖动,影响转码性能。通过对添加-re参数的分析,可以了解其对转码性能的影响,...

    url转码,base64等好用转码小工具

    Unicode转码工具可以帮助我们解决由于编码不一致导致的乱码问题,比如在网页显示、文件读写或者跨语言通信中。 压缩包内的"转码工具V1"很可能是一个应用程序或者脚本,提供了用户友好的界面或者命令行接口来执行...

    网页字节集转码解压.exe

    网页字节集转码解压

    URL转码及不能被转码的特殊字符

    了解哪些字符需要转码,哪些字符不应被转码,对于开发人员来说至关重要。通过本文的介绍,我们不仅学习了URL转码的基本原理,还了解了一些常见的URL编码表内容以及那些不能被转码的特殊字符。这将有助于我们在实际...

    南极星转码软件,南极星转码软件

    南极星转码软件

    GBK与UTF8转码工具支持文件夹转码

    GBK(Chinese Internal Code Specification)是中国大陆广泛使用的多字节字符集,它是GB2312的扩展,兼容GB2312的同时,增加了对繁体字、一些特殊符号以及部分非汉字字符的支持,总共包含了约20902个汉字和符号。...

    取色器 转码器

    在提供的博文链接中(由于无法直接访问,我们只能根据标题和标签进行推测),可能讲述了作者开发或使用的一种结合了取色功能和转码功能的工具。这样的工具可能是开源的,即包含源码,允许用户自行查看和修改内部实现...

    ffmpeg 音视频转码

    FFmpeg 提供丰富的选项来调整转码参数,例如比特率、分辨率、帧率等。例如,要将视频比特率限制在1000Kbps,可以添加 `-b:v 1000k` 参数。如果需要调整分辨率,可以使用 `-s` 参数,如 `-s 1280x720` 将视频尺寸改为...

    针对网络视频应用的视频转码技术综述

    摘 要:对视频转码的技术基础,尤其是3 种典型的体系结构进行了简述和比较,然后讨论了利用从输入视频流 中易于得到的信息,减少计算复杂度和改善视觉质量的方法。同时,对近年来出现的一些热点技术,如信息(包 括...

    最新云转码架构介绍

    比如,利用HEVC(高效视频编码)与DASH(动态自适应流式传输)的结合,可以在保证视频质量的同时,大幅度减少对带宽的需求。而通过VMware等虚拟化技术,可以对转码系统进行有效的资源管理和扩展。 6. 云转码架构的...

    C# .net6.0+FFmpeg对海康摄像机进行m3u8拉流转码

    在本文中,我们将深入探讨...总的来说,C# .NET 6.0结合FFmpeg对海康摄像机的m3u8拉流转码是一项涉及网络编程、多媒体处理和系统优化的复杂任务。通过深入理解这些技术点,我们可以构建出高效、稳定的视频流处理系统。

Global site tag (gtag.js) - Google Analytics