Fix undefined behavior when fetching glyphs from the display vector.

You can trigger this rather obscure bug by enabling selective display
if the second glyph in its display vector has an invalid face.  For
example, evaluate

(set-display-table-slot standard-display-table
                        'selective-display [?A (?B . invalid)])

and then enable selective display.

* src/xdisp.c (next_element_from_display_vector): Check whether next
glyph code is valid before accessing it.

Fix pcase rx form snag with '?' and '??' (bug#44532)

This is a regression from Emacs 26.
Reported by Phillip Stephani.

* lisp/emacs-lisp/rx.el (rx--pcase-transform): Process ? and ?? correctly.
* test/lisp/emacs-lisp/rx-tests.el (rx-pcase): Add test case.

(cherry picked from commit 575b0681d926463960fc00d1e33decaa71d5c956)

Update the doc-view header line

Avoid breaking Arabic shaping in 'window-text-pixel-size'

* src/xdisp.c (CHAR_COMPOSED_P): If the bidi_p flag is not set,
pass -1 to composition_reseat_it, so that the shaping engine will
figure out the directionality of the text.  This is important,
e.g., when using move_it_* functions in some context that is not
redisplay, such as 'window-text-pixel-size'.  (Bug#44521)

doc-view.el comment clarification

* lisp/doc-view.el: Make the commentary mention that it's not
limited to a narrow range of file formats (bug#44504).

Update erc documentation about C-c C-b

* doc/misc/erc.texi (Keystroke Summary): C-c C-b runs
erc-switch-to-buffer, which is implemented in terms of
read-buffer (bug#44498).

Fix 'uudecode-decode-region-internal' in multibyte buffers

* lisp/mail/uudecode.el (uudecode-decode-region-internal): Fix
inserting the decoded string into a multibyte buffer.  Optimize by
working with characters, not strings.  (Bug#44411)

Copyright-paperwork-exempt: yes

Fix 'send-string-to-terminal' writing very long strings

* src/dispnew.c (Fsend_string_to_terminal): Prevent partial writes
by blocking SIGIO while 'fwrite' runs.  (Bug#44320)

* lisp/subr.el (read-char-from-minibuffer): Doc fix.  (Bug#44451)

Merge branch 'emacs-27' of git.savannah.gnu.org:/srv/git/emacs into emacs-27

Fix documentation of 'windmove-swap-states-default-keybindings'

* doc/emacs/windows.texi (Window Convenience): Fix description of
'windmove-swap-states-default-keybindings' and related index
entry.  (Bug#44441)

Split windows evenly when 'min-margins' parameter was set (Bug#44483)

* lisp/window.el (split-window): Make new window inherit any
'min-margins' parameter from WINDOW so that horizontal splits
reliably produce windows of same width (Bug#44483).

Handle Cairo errors in ftcrfont_open

* src/ftcrfont.c (ftcrfont_open): Handle Cairo errors (bug#41627).

(cherry picked from commit 954a4decfcc8e41084789516773b22d0adc11d91)

Backport: Fix exiting the finder-commentary buffer

Do not merge to master.

* lisp/finder.el (finder-exit): Fix exiting the finder-commentary
buffer.  (Bug#44384)
(finder-buffer): New defconst.
(finder-list-keywords): Use above new defconst.

; * lisp/international/mule.el (define-coding-system): Doc fix.

* src/w32fns.c (Fw32_register_hot_key): Doc fix.  (Bug#44456)

Prevent redisplay from moving point behind user's back

* src/bidi.c (bidi_at_paragraph_end, bidi_find_paragraph_start):
Bind inhibit-quit to a non-nil value around calls to
fast_looking_at, to prevent breaking out of redisplay_window,
which temporarily moves point in buffers shown in non-selected
windows.  (Bug#44448)

Document that the :match function for a widget takes an external value

* doc/misc/widget.texi (Basic Types): Document what an external value
is.  Document that a :match function expects the value to be in the
external format.  (Bug#8717)

Don't render XML declaration of an HTML document (bug#44348)

* lisp/net/eww.el (eww--preprocess-html): Prevent converting the
left angle bracket in the sequence "<?" to an HTML entity.

Recover the contents of the schemas.xml file

* etc/schema/schemas.xml: Recover the file, which was apparently
(mostly) removed by mistake by commit 165f738382 (bug#42851).

Copyright-paperwork-exempt: yes

; * src/xdisp.c (display_string): Fix a typo in a comment.

Improve indexing of check-declare

* doc/lispref/functions.texi (Declaring Functions): Improve indexing.

; * lisp/autoinsert.el (auto-insert-alist): Fix texinfo URL.

The old texinfo domain seems to no longer be controlled by the GNU
project, starting at least as early as 2012.  See also:
https://web.archive.org/web/20120410044746/http://www.texinfo.org/

; Auto-commit of loaddefs files.

* doc/lispref/commands.texi (Key Sequence Input): Fix indexing.

(cherry picked from commit 41c4f337c8f798d4700dcd13b73ad4ccdb3257eb)

Updating docs with all special window prefix keys.

* doc/lispref/commands.texi (Key Sequence Input): Add documentation for
missing special window areas.  Explicitly call out window or frame.

(cherry picked from commit a105db13e11fd15cc72804bf33672122d1c3f2e1)

Improve reproducibility of generated -pkg.el files

* lisp/emacs-lisp/package.el (package-generate-description-file):
Don't include the full name of the source file in the header,
since that varies non-reproducibly according to the build directory.
https://bugs.debian.org/972861
Note that elpa.gnu.org's admin/archive-contents.el does this by hand
and already only includes the nondirectory part.

Make sure pixel sizes are zero when setting window size for ptys.

* sysdep.c (set_window_size): Initialize data to zero to avoid
passing any garbage from the stack to ioctl.

Fix failure of 'emacs --daemon' on Cygwin

* src/emacs.c (DAEMON_MUST_EXEC): Define unconditionally on
Cygwin, not just if HAVE_NTGUI is defined.  This fixes the failure
of 'emacs --daemon' to start on the non-w32 Cygwin builds.
(Bug#44285)

CC Mode: Only recognize foo (*bar) as a function pointer when followed by (

* lisp/progmodes/cc-engine.el (c-forward-over-decl-or-cast-1): (after CASE 2)
test variables got-suffix-after-parens and at-decl-end before invoking
c-fdoc-shift-type-backward.

Fix NEWS entry for fix of Bug#44080

* src/buffer.c (syms_of_buffer) <fill-column>: Improve doc string.

Don't skip empty lines when fitting mini frame to buffer (Bug#44080)

* lisp/window.el (fit-mini-frame-to-buffer,
window--resize-mini-frame, fit-frame-to-buffer,
fit-frame-to-buffer-1): By default, fit a mini frame without skipping its
buffer's leading or trailing empty lines.
* src/frame.c (resize-mini-frames): Update doc-string.
* lisp/cus-start.el (resize-mini-frames): Update for customize.
* doc/lispref/minibuf.texi (resize-mini-frames): Update description.

; * etc/tutorials/TUTORIAL.de: Fix grammar (Bug#44246)

Improve documentation of display-fill-column-indicator

* lisp/display-fill-column-indicator.el
(display-fill-column-indicator-mode): Mention the globalized
version in the doc string.

* doc/emacs/display.texi (Displaying Boundaries): Improve and
clarify the documentation of display-fill-column-indicator.
Suggest using the minor mode as the primary means for turning the
feature on.

* src/xdisp.c (syms_of_xdisp) <display-fill-column-indicator>
<display-fill-column-indicator-character>: Doc fix.  (Bug#44226)

* INSTALL: Mention efaq.texi for installation of intlfonts.

Use WebKit sandboxing

* src/xwidget.c (Fmake_xwidget): Enable sandboxing if WebKit 2.26
or later.  Do this early, as required for sandboxing (Bug#43071).
Co-authored-by: Qiantan Hong <qhong@mit.edu>
Copyright-paperwork-exempt: yes

Fix tramp-sh-handle-make-process; don't merge with master

* lisp/net/tramp-sh.el (tramp-sh-handle-make-process): Accept nil
COMMAND.  (Bug#44151)

* test/lisp/net/tramp-tests.el (tramp-test29-start-file-process):
Extend test.

Merge branch 'emacs-27' of git.sv.gnu.org:/srv/git/emacs into emacs-27

Fix an error in tramp-sh-handle-make-process.  Dont' merge with master

* lisp/net/tramp-sh.el (tramp-sh-handle-make-process): Don't use heredoc
script whent the argument contains a string.

Recommend lexical-binding in Coding Conventions

* doc/lispref/tips.texi (Coding Conventions, Library Headers):
Recommend using lexical-binding.

Avoid rare crashes while producing line numbers

* src/xdisp.c (maybe_produce_line_number): Prevent freeing of
realized faces for as long as we are using lnum_face_id and
current_lnum_face_id for producing glyphs.  (Bug#44111)

Improve documentation of 'Info-hide-note-references' in info.texi

* doc/misc/info.texi (Help-Xref): Improve the wording.
(Emacs Info Variables): Update the documentation of
'Info-hide-note-references'.  (Bug#44043)

* admin/release-process: Add note to update files from upstream.

(cherry picked from commit 86dd9d12aa5a273da2efd4ce8c6e35ae343f1494)

* lisp/info.el (Info-hide-note-references): Doc fix.  (Bug#44043)

Make lisp/progmodes/js.el dependent on CC Mode in the Makefile.

This will prevent version mismatches between compile time and runtime
versions.  This fixes bug #43037.

* lisp/Makefile.in: Make js.el dependent on cc-{defs,engine,mode}.elc.

Yet another fix for 'set-minibuffer-message'

* lisp/minibuffer.el (set-minibuffer-message): Handle the case of
separate minibuffer-only frame.  Suggested by Gregory Heytings
<ghe@sdf.org>.

Fix posn-at-x-y in builds --without-x

* src/keyboard.c (make_lispy_position): Don't exclude the
window_or_frame = frame case from TTY-only builds.  Reported by
Jared Finder <jared@finder.org>.

* doc/lispref/commands.texi (Click Events): Document the format of
POSITION in click events on the frame's internal border.

Clarify the seq-reduce documentation

* doc/lispref/sequences.texi (Sequence Functions): Ditto.

* lisp/emacs-lisp/seq.el (seq-reduce): Clarify the order of the
arguments (bug#43995).

Make tramp-completion-reread-directory-timeout obsolete (Bug#43932)

* doc/misc/tramp.texi (File name completion, Frequently Asked Questions):
Remove `tramp-completion-reread-directory-timeout'.  (Bug#43932)

* etc/NEWS: Mention tramp-completion-reread-directory-timeout as obsolete.

* lisp/net/tramp.el (tramp-completion-reread-directory-timeout):
Make it obsolete.

Fix 'message' when there's active minibuffer on another frame

* lisp/minibuffer.el (set-minibuffer-message): Don't reuse the
active minibuffer for displaying messages unless the active
minibuffer is on the same frame as the selected window.

Copyright-paperwork-exempt: yes

* lisp/emacs-lisp/easy-mmode.el (define-minor-mode): Doc tweak

Try and clarify the meaning of `init-value`.

(cherry picked from commit 46c0f28c0e4e212687e90ec0ecb239d994105a19)

A better fix for bug#43886

* src/xfaces.c (load_color2, Fcolor_distance): Revert last change.
* src/term.c (clear_tty_hooks): Don't clear defined_color_hook.

Avoid crashes when a theme is loaded with one frame suspended

* src/xfaces.c (load_color2, Fcolor_distance): Don't try to call
the frame's defined_color_hook if the frame is suspended.
(Bug#43886)

Removed an incorrectly placed extra word in the semantic docs

* doc/misc/semantic.texi (Parser code): Copy edit (bug#43861).

Copyright-paperwork-exempt: yes

Fix current-line hscrolling when overlays change

* src/xdisp.c (redisplay_internal): Disable "optimization 1" when
auto-hscrolling current line and we're redisplaying the selected
window.  (Bug#43835)

Extend tests for shell-command-dont-erase-buffer

* test/lisp/simple-tests.el
(simple-tests-shell-command-dont-erase-buffer): Extend test.

* test/lisp/net/tramp-tests.el
(tramp-test32-shell-command-dont-erase-buffer): Adapt test.  Tag
it :unstable.

Clarify what ``chrooted environment means'' for TRAMP

* doc/misc/tramp.texi (Frequently Asked Questions): Clarify what
``chrooted environment means'' for TRAMP (bug#43839).

; * src/xdisp.c (Fwindow_text_pixel_size): Doc fix.

Add missing full stop in MS-DOS processes documentation

* doc/emacs/msdos-xtra.texi (MS-DOS Processes): Minor copy edig
(bug#43820).

Fix merging of region face for non-ASCII characters

* src/xdisp.c (extend_face_to_end_of_line): Restore the correct
original face used by the iterator on this line, not the ASCII
face.  (Bug#43363)

Make drag and drop on NS open all URLs (bug#43470)

* lisp/term/ns-win.el (ns-drag-n-drop): Merge generic and copy
actions.

Co-authored-by: Daniel Martín <mardani29@yahoo.es>

Fix electric-buffer-list buffer selection

* lisp/ebuff-menu.el (electric-buffer-list): Ensure that point is
restored, which isn't always the case if
global-display-line-numbers-mode (bug#43755).  This enables
selecting buffers again.

; Fix many typos in symbols in docs and comments

* doc/misc/flymake.texi (Using Flymake): Fix a typo.  (Bug#43758)

Don't error if no GPG signing key configured

* lisp/gnus/mml-sec.el (mml-secure-epg-sign): Partially revert
"Make mml-secure-epg-sign bug out if we can't find an identity".
It causes signing to fail for people who have not set up
mml-secure-{smime,openpgp}-sign-with-sender, which is a regression
from Emacs-26 (Bug#40118).  In such a situation gpg will use its
default key.

Do not merge to master. On master Emacs will query the user.

2020-03-29  Michael R. Mauger  <michael@mauger.com>

       * lisp/progmodes/sql.el (sql-add-product): Re-correct argument
       spec.  Previous change was due to my mistake; I have
       resolved back to the prior behavior (Bug#39960).
       * test/lisp/progmodes/sql-tests.el (sql-test-add-product): Added
       test to insure I don't make the same mistake again.

Make aliases introduced in previous patch obsolete

* lisp/emacs-lisp/debug.el (debugger-toggle-locals):
(debug-help-follow): Make reinstated aliases obsolete.

Restore some public debugging functions removed in Emacs 27

* lisp/emacs-lisp/backtrace.el (backtrace--to-string): New function.
(backtrace-to-string): Use it.  Fix whitespace (bug#40728).
* lisp/emacs-lisp/debug.el (debugger-insert-backtrace): New function.
Mark it as obsolete.
(debugger-toggle-locals, debug-help-follow): New aliases.

; Auto-commit of loaddefs files.

Clarification in Tramp manual

* doc/misc/tramp.texi: Harmonize "Git" spelling.
(Frequently Asked Questions): Describe Emacs version mismatch.

Check Emacs version used for Tramp compilation

* lisp/net/tramp-compat.el (tramp-compat-emacs-compiled-version):
New defconst.  Raise a warning, when it is not equal to the Emacs
version.

Don't signal an error when saving files on WdebDAV volumes

* src/w32.c (acl_get_file): If get_file_security raises the
ERROR_ACCESS_DENIED error, treat that like unsupported ACLs.

; * lisp/net/eww.el (eww-search-words): Doc fix.

* lisp/hi-lock.el (hi-lock-find-patterns): Autoload it.  (Bug#43670)

Minor copyedits in the Emacs user manual

* doc/emacs/emacs.texi (Top): Remove "real-time" from the Emacs
description; add "advanced", to be consistent with what we say in
the Introduction section.  (Bug#43633)

Followup to a recent change in menu-bar.el

* lisp/fileloop.el (fileloop--operate-function): Mention in a
comment that menu-bar.el relies on the default value.

Enable "Continue Tags Search" menu item only when it can be used

* lisp/menu-bar.el (menu-bar-search-menu) <tags-continue>: Enable
only when there was a previous tags search.  (Bug#43569)
(menu-bar-replace-menu) <tags-repl-continue>: Enable only when
there was a previous tags-replace.

Fix soap-client URL

* lisp/net/soap-client.el (soap-create-envelope):
Fix URL that I broke in 2019-09-23T06:53:30Z!eggert@cs.ucla.edu.
Problem reported by Thomas Fitzsimmons.

Fix out-of-source ‘make check’ emacs-module-tests

Problem reported by Koki Fukuda in:
https://lists.gnu.org/r/emacs-devel/2020-07/msg00169.html
* test/Makefile.in (MODULE_CFLAGS):
Include from the same directories included from in ../src.
* test/src/emacs-module-tests.el (module/describe-function-1):
Strip path to source directory.

(cherry picked from commit c86f3fe0d023cdd25edbbce91c5b32654f2b734e)

Fix support for Zip64 zip files

* lisp/arc-mode.el (archive-zip-summarize): Fix detection of Zip64
central directory.  Support 64-bit file size field used by Zip64.
(Bug#43597)

* lisp/hi-lock.el (hi-lock-auto-select-face): Doc fix.  (Bug#43600)

Avoid infinite recursion with 'relative' line numbers display

* src/xdisp.c (display_count_lines_visually): Bind
'display-line-numbers' to 'relative' around 'start_display' as
well, since that can invoke 'move_it_to' internally, thus
causing infinite recursion.  (Bug#43589)

; Fix more trivial typos

; Fix some trivial typos

Minor improvement in the ELisp manual's Introduction

* doc/lispref/intro.texi (Printing Notation): Clarify what
"execute code" means in this context.  (Bug#43463)

Mention in PROBLEMS the problems with fonts and Uniscribe

* etc/PROBLEMS: Mention font-related problems with Uniscribe on
MS-Windows.  (Bug#39340)

Minor copyedits in 'line-height' documentation

* doc/lispref/display.texi (Line Height): Describe the possible
values of the 'line-height' property in a more consistent format.

; * src/frame.c (syms_of_frame) <make-pointer-invisible>: Doc fix.

* doc/misc/eww.texi: Document the `w' key's double function

* doc/misc/eww.texi (Basics): Describe what the `w' command does
in eww (bug#43517).

Fix a rare segfault in syntax.c

* src/syntax.c (Fforward_comment): Prevent the loop for COUNT < 0
from going outside the valid range of character/byte positions.
(Bug#43499)

* doc/lispref/syntax.texi (Syntax Class Table): Mention the
"comment-fence" and "string-fence" as alternative names of 2
syntax classes.

Add doc to syntax-propertize-function saying it must do a 100% job

and cannot be combined with other ways of applying syntax-table text
properties.

* lisp/emacs-lisp/syntax.el (syntax-propertize-function): Amend doc string.

* doc/lispref/syntax.texi (Syntax Properties): Amend the description of the
variable.

Minor copyedits of doc of 'with-silent-modifications'

* doc/lispref/text.texi (Changing Properties):
* doc/lispref/buffers.texi (Buffer Modification): Improve
documentation and indexing of 'with-silent-modifications'.

Improve documentation of 'max-mini-window-height'

* src/xdisp.c (syms_of_xdisp):
* doc/lispref/minibuf.texi (Minibuffer Windows): More accurate
wording in the documentation of 'max-mini-window-height', to
clarify the meaning of an integer value.

Use modern constant names for the NS pasteboard

Use the same pasteboard constant names defined in
ns_drag_types. (Bug#43470).

* src/nsterm.m: Rename NSURLPboardType to NSPasteboardTypeURL,
NSStringPboardType to NSPasteboardTypeString, and
NSTabularTextPboardType to NSPasteboardTypeTabularText

Fix doc string of 'toggle-menu-bar-mode-from-frame'

* lisp/menu-bar.el (toggle-menu-bar-mode-from-frame): Improve the
wording of the doc string.  (Bug#43383)

Make vc-bzr tests work with brz 3.1 (bug#43314)

* test/lisp/vc/vc-bzr-tests.el (vc-bzr-test-bug9726)
(vc-bzr-test-bug9781, vc-bzr-test-faulty-bzr-autoloads):
Make them work with brz 3.1.

diff-no-select doc string clarification

* lisp/vc/diff.el (diff-no-select): Update doc string from the trunk,
don't merge.

Fix compilation on TERMINFO platforms with GCC 10

* src/terminfo.c [TERMINFO]: Don't redefine UP, BC, and CP, as
that could cause linking errors due to multiple definitions.
(Bug#43195)

Fix the font-lock-debug-fontify NEWS entry

* etc/NEWS: Fix the name of `font-lock-debug-fontify' (bug#43319).